당신에게 매우 똑똑하고 다재다능한 로봇 비서가 있다고 상상해 보세요. 당신은 이 로봇에게 "변호사처럼 행동해줘" 또는 "생물학자처럼 행동해줘"라고 말한 뒤, 일련의 객관식 질문에 답하도록 요청할 수 있습니다. 이것을 **페르소나 기반 생성(Persona-Driven Generation, PDG)**이라고 부릅니다. 로봇의 '캐릭터'가 더 나은 답변을 하도록 돕거나, 적어도 일관성을 유지하는 데 도움이 될 수 있다는 아이디어입니다.

이 논문은 이러한 로봇 캐릭터를 위한 품질 관리 검사관과 같습니다. 저자들은 단순하지만 무서운 질문을 던졌습니다: 만약 우리가 똑같은 로봇에게 똑같은 캐릭터가 되어달라고 요청하면서, 질문하는 방식의 아주 미세한 디테일만 바꾼다면, 로봇은 동일한 답변을 내놓을 것인가?

그들은 그 답이 대개 아니오라는 것을 발견했습니다. 로봇은 놀라울 정도로 불안정합니다. 마치 배경에 따라 색을 바꾸는 것이 아니라, 당신이 눈을 깜빡이거나 재채기를 하는 것에 따라 색을 바꾸는 카멜레온처럼 말이죠.

다음은 비유를 사용하여 그들의 연구 결과를 정리한 내용입니다:

1. "흔들림"을 측정하는 세 가지 방법

연구진은 단순히 로봇이 정답을 맞혔는지만을 본 것이 아닙니다. 그들은 세 가지 구체적인 "흔들림 측정기"를 만들었습니다:

• 점수 측정기 (성능 불안정성 - Score Meter): 만약 당신이 로봇에게 약간씩 다른 지침으로 같은 수학 문제를 10번 질문한다면, 매번 80%를 맞힐까요? 아니면 60%와 90% 사이를 왔다 갔다 할까요?
  • 비유: 다트 선수를 상상해 보세요. 매번 과녁 중앙을 맞힌다면 안정적인 것입니다. 하지만 과녁 중앙을 맞혔다가, 그다음엔 바깥쪽 고리를 맞히고, 그다음엔 바닥을 맞히고, 다시 중앙을 맞히는 식이라면 불안정한 것입니다.
• 승자 측정기 (결과 불안정성 - Winner Meter): 경쟁에서 누가 "최고"의 캐릭터일까요? "변호사"가 항상 법률 질문에 가장 뛰어날까요?
  • 비유: 경주를 상상해 보세요. 어떤 버전의 경주에서는 변호사가 우승합니다. 그런데 경주의 설정이 아주 약간 바뀌면(예를 들어 출발 신호 소리가 더 컸다면), 생물학자가 우승합니다. 논문은 설정의 미세한 디테일에 따라 누가 우승하는지가 크게 변한다는 것을 발견했습니다.
• 질문 측정기 (질문 정확도 불안정성 - Question Meter): 로봇이 동일한 특정 질문들을 맞혔나요?
  • 비유: 학생이 시험을 치르는 상황을 상상해 보세요. 한 버전의 시험에서 학생은 1, 2, 3번 문제를 맞혔습니다. 다른 버전에서는 1, 4, 5번 문제를 맞혔습니다. 점수는 같지만, 알고 있는 내용은 달랐던 것입니다. 이 측정기는 로봇이 실제로 학습하고 있는 것인지, 아니면 그냥 무작기적으로 추측하고 있는지를 확인합니다.

2. 주요 발견 사항: 무엇이 로봇을 흔드는가?

"어떻게 묻느냐"가 "얼마나 뜨겁냐"보다 더 중요하다
연구진은 로봇의 행동을 변화시킬 수 있는 세 가지 요소를 테스트했습니다:

1. 온도 (Temperature): 로봇이 얼마나 "창의적"이거나 무작위적일 수 있는지.
2. 페르소나 프롬프트 (Persona Prompt): 로봇에게 누구인지 말하는 방식 (예: "당신은 변호사입니다" vs "변호사의 정체성을 채택하세요").
3. 태스크 프롬프트 (Task Prompt): 질문을 던지는 방식 (예: "답만 말해줘" vs "당신의 추론 과정을 설명해줘").

큰 놀라움: 태스크 프롬프트(질문을 어떻게 던지는가)의 방식이 가장 큰 혼란을 일으켰습니다.

• 비유: 케이크를 굽고 있다고 상상해 보세요. 당신은 오븐의 온도(Temperature)가 가장 중요하다고 생각할 수도 있습니다. 하지만 이 논문은 레시피 지침(Task Prompt)이 실제로는 문제라고 말합니다. 만약 당신이 로봇에게 "생각하는 과정을 설명하라"고 말하는 대신 그냥 "답을 제시하라"고 한다면, 로보의 성능은 훨씬 더 예측 불가능해집니다.

수학과 상식이 가장 심각한 범인이다
로봇은 수학 문제나 상식 질문에 답할 때 가장 불안정했습니다.

• 비례: 이는 마치 역사 연도는 잘 암기하지만, 수학 문제를 풀거나 고양이가 왜 매트 위에 있는지 설명해야 할 때마다 당황해서 말을 바꾸는 학생과 같습니다. 논문은 로봇이 다른 주제들에 비해 이러한 유형의 논리에 대한 훈련을 덜 받았기 때문일 수 있다고 시사합니다.

큰 모델이 (대체로) 더 안정적이다
일반적으로 더 크고 강력한 모델들이 작은 모델들보다 더 안정적이었습니다.

• 비례: 거대한 중형 선박은 작은 모터보트보다 파도에 덜 흔들립니다. 하지만 한 가지 예외가 있었습니다. 매우 큰 모델(Qwen 14B)은 답변을 "설명"하라고 요청했을 때 오히려 더 불안정해졌는데, 이는 모델이 "사고의 사슬(chain of thought, 생각하며 말하기)"을 사용하면서 점수 산정을 혼란스럽게 만들었기 때문입니다.

캐릭터보다는 설정이 더 중요하다
당신은 "변호사"가 되는 것이 "의사"가 되는 것보다 로봇을 다르게 행동하게 만들 것이라고 생각할 수 있습니다. 하지만 연구진은 특정 캐릭터(페르소나)는 별로 중요하지 않았다는 것을 발견했습니다.

• 비례: 배우가 의사 가운을 입든 변호사 슈트를 입든 상관없습니다. 만약 감독(프롬프트 지침)이 불안정하다면, 전체 공연은 불안정해집니다. 불안정함은 캐릭터(의상)가 아니라 지침에서 옵니다.

3. 이것이 왜 중요한가 (논문에 따르면)

이 논문은 어떤 로봇 캐릭터가 가장 좋은지 확인하기 위해 실험을 수행하는 모든 이들에게 경고를 보냅니다. 만약 오늘 실험을 하고, 내일 프롬프트 형식을 아주 약간 바꿔서 다시 실행한다면, 완전히 다른 결과를 얻게 될 수도 있습니다.

• "불안정한" 시나리오: 어떤 설정에서는 로봇이 "변호사"가 질문에 답하는 데 최고라고 생각합니다. 하지만 "불안정한" 설정에서는 "생물학자"가 최고라고 생각하거나, 수학 문제에 대해 "히스패닉 사람"이 "백인"보다 다르게 수행한다고 생각할 수도 있습니다.
• 위험성: 논문은 이러한 차이가 로봇의 뇌 속에 있는 실제 편향(bias)이 아닐 수도 있다고 주장합니다. 대신, 그것들은 **불안정한 설정으로 인한 인위적인 결과물(artifact)**일 수 있습니다. 로봇이 흔들리고 있다면, 당신은 로봇이 편향되어 있는지 아닌지를 판단하기 위해 그 결과를 신뢰할 수 없습니다.

요약

이 논문은 AI에게 캐릭터를 연기하도록 사용하는 모든 이들을 위한 경고 라벨입니다. 이렇게 말하고 있습니다: "답변을 그냥 믿지 마세요. 지침을 살짝 수정했을 때 답변이 변하는지 확인하세요."

로봇의 "성격"은 취약합니다. 질문하는 방식(특히 생각을 설명하라고 요구하는 경우)을 바꾸면, 로봇은 누가 "최고"의 캐릭터인지, 어떤 질문을 맞히는지, 심지어 전체 점수까지도 갈팡질팡할 수 있습니다. 신뢰할 수 있는 결과를 얻으려면, "안정적인" 설정(예: 설명을 생략하고 단순한 답변만 요구하는 방식)을 찾아내어 그것을 고수해야 합니다.