당신이 올해 최고의 영화가 무엇인지 결정하려고 한다고 상상해 보세요. 당신은 친구들에게 영화를 보고 점수를 달라고 부탁합니다. 하지만 여기 반전이 있습니다. 한 친구에게는 느린 전개를 싫어하는 엄격한 영화 평론가처럼 판단하라고 하고, 다른 친구에게는 멋진 특수 효과를 찾는 십 대처럼, 또 다른 친구에게는 교육적 가치를 확인하는 학부모처럼 판단하라고 요청한 것입니다. 갑자기, 누구에게 물었느냐에 따라 "최고의" 영화가 바뀔 수도 있습니다! 이것이 바로 정보 검색(Information Retrieval, IR) 평가, 즉 검색 엔진이 얼마나 적절한 답을 찾아내는지 알아내는 과학의 핵심입니다. 수십 년 동안 인간이 이 판단을 해왔지만, 이는 느리고 비용이 많이 듭니다. 이제 과학자들은 이 심사를 대신하기 위해 거대 언어 모델(LLM)—매우 똑똑한 AI 챗봇—을 사용하고 있습니다. 큰 질문은 이것입니다. 만약 AI에게 특정 유형의 사람처럼 "행동"하라고 요청한다면 결과가 바뀔까요? AI의 답변은 그것이 쓰고 있는 "가면"에 따라 달라질까요?

이 논문은 바로 그 질문을 깊이 파고듭니다. 연구진은 AI에게 특정 "페르소나"(예: "의사" 또는 "변호사")를 부여하는 것이 검색 결과의 순위를 바꾸는지, 아니면 어떤 가면을 쓰든 똑같은 답을 내놓는지 알고 싶어 했습니다. 그들은 이 페르소나들을 일종의 스트레스 테스트로 취급하여, AI의 의견이 얼마나 흔들리는지 쿡쿡 찌르고 두드려 보았습니다. 그들은 AI가 전체적인 승자와 패자의 목록을 완전히 뒤집지는 않지만, 다소 까다로워진다는 것을 발견했습니다. 이 결과는 AI의 판단이 고정된 진리가 아니라, 어떤 역할을 수행하느냐에 따라 미세하게 변한다는 것을 시사하며, 이러한 변화는 크고 똑똑한 모델보다 작고 덜 강력한 AI 모델에서 더 중요하게 나타납니다.

변신하는 심사위원의 이야기

검색 엔진의 세계에서, 우리는 새로운 알고리즘이 기존의 것보다 실제로 더 나은지 알아야 합니다. 이를 알아내기 위해, 우리는 일련의 테스트 검색을 실행하고 "평가자"에게 결과가 얼마나 좋은지 점수를 매기도록 요청합니다. 전통적으로 이는 인간에 의해 수행되었습니다. 하지만 인간은 지치고, 비용이 많이 들며, 때로는 서로 의견이 다릅니다. 그래서 연구자들은 AI 모델을 심사위원으로 사용하는 방법을 시작했습니다. 아이디어는 AI를 올바르게 프롬프트(명령)하면 전문적인 인간 심사위원처럼 행동할 수 있다는 것이었습니다.

하지만 여기 함정이 있습니다. AI는 민감합니다. 질문하는 방식을 바꾸면 답이 바뀔 수 있습니다. 이 논문은 다음과 같이 질문합니다: 심사위원의 "정체성"을 바꾸면 어떻게 될까? 단순히 AI에게 "심사위원이 되어라"라고 요청하는 대신, 연구진은 AI에게 "의사가 되어라", "변호사가 되어라", 또는 "회의적인 사실 확인 전문가가 되어라"라고 말했습니다. 그들은 이러한 서로 다른 "가면"이 AI로 하여금 어떤 검색 결과가 좋은지에 대한 생각을 바꾸게 만들 것인지 알고 싶었습니다.

실험: AI에게 옷 입히기

연구진은 두 가지 서로 다른 검색 질문 세트(데이터셋이라고 불림)를 사용하여 대규모 실험을 설계했습니다. 한 세트는 사실적이고 짧은 질문(예: "노벨상을 받은 사람은 누구인가?")에 관한 것이었고, 다른 한 세트는 복잡하고 개방적인 주제(예: "교사들이 주 정부 시험을 어떻게 처리해야 하는가?")에 관한 것이었습니다.

그들은 여섯 가지 서로 다른 AI 모델(거대하고 강력한 모델부터 작고 가벼운 모델까지)을 가져와 검색 결과를 심사하도록 했습니다. 하지만 그들은 단순히 심사하도록 요청한 것이 아니라, 구체적인 역할을 부여했습니다:

1. 쿼리 정렬 심사위원 (The Query-Aligned Judge): 사용자가 무엇을 의도했는지에 집중합니다.
2. 도메인 전문가 (The Domain Expert): 의료나 법률 같은 특정 분야에 집중합니다.
3. 직교 심사위원 (The Orthogonal Judge): 완전히 다른 각도에서 바라보는 "반대론자"입니다.
4. 증거 검증가 (The Evidence Verifier): 증거를 요구하는 엄격한 사실 확인 전문가입니다.
5. 글로벌 평가자 (The Global Assessor): 표준적이고 전문적인 평가자입니다.

또한 그들은 추상적인 묘사(예: "부모")를 사용하는 방식과 상세한 기술 목록(예: "교육과정 개발 기술을 가진 사람")을 사용하는 방식의 두 가지 다른 방식으로 역할을 생성하는 실험도 진행했습니다.

발견한 내용: AI는 바위가 아니라 무드 링(Mood Ring)이다

결과는 매우 흥-미롭고 다소 놀라웠습니다. AI가 완전히 정신을 놓지는 않았습니다. 페르소나를 바꿨다고 해서 AI가 갑자기 형편없는 결과를 완벽한 것으로, 완벽한 결과를 형편없는 것으로 결정하지는 않았습니다. 대신, 그 변화는 색이 변하는 무드 링처럼 더 미묘했습니다.

1. "엄격함"의 변화
대부분의 경우, AI의 순위는 표준 기준값과 상당히 유사하게 유지되었습니다. 그러나 페르소나는 AI가 얼마나 엄격한지에 영향을 주었습니다. 예를 들어, "증거 검증가" 페르사나은 확실한 증거가 없는 결과에 대해 더 낮은 점수를 주는 경향이 있었습니다. "반대론자" 페르사나는 표준적인 견해에 동의하지 않을 가능성이 더 높았습니다. 하지만 결정적으로, 이러한 변화는 보통 점수를 약간 올리거나 내리는 정도였으며, 전체 승자 목록이 뒤섞이는 혼돈을 초래하지는 않았습니다.

2. 크기가 중요하다: 큰 뇌 vs 작은 뇌
이것은 주요한 발견이었습니다. 가장 크고 강력한 AI 모델(700억 개의 파라미터를 가진 모델 등)은 매우 안정적이었습니다. 어떤 "가면"을 쓰더라도, 그들은 순위를 거의 동일하게 유지했습니다. 그들은 규칙을 잘 알고 의상 변화에 휘둘리지 않는 현명한 노련한 판사와 같았습니다.
반면, 더 작고 덜 강력한 AI 모델들은 훨씬 더 민감했습니다. "반대론자" 가면을 씌우면 작은 AI는 혼란에 빠졌고 그 순위가 크게 요동쳤습니다. 이는 만약 약한 AI를 심사에 사용한다면, 단지 특정 방식으로 "행동"하도록 요청했다는 이유만으로 결과가 신뢰할 수 없게 될 수 있음을 시사합니다.

3. "반대론자"가 가장 파괴적이다
모든 역할 중에서 "직교(Orthogonal)" 또는 "반대론자" 페르사나가 순위 변화를 가장 크게 일으켰습니다. 이는 타당합니다. 만약 당신이 AI에게 완전히 다른 각도에서 사물을 보라고 한다면, 그것은 "도메인 전문가"가 되는 것보다 생각을 더 많이 바꿀 것이기 때문입니다. 연구진은 구체적인 기술 목록을 가진 "기술 기반(skill-grounded)" 반대론자가 일반적인 반대론자보다 더 많은 움직임을 유발한다는 것을 발견했습니다.

4. 페르소나가 '누구'인지가 아니라 '무엇을 하는지'가 중요하다
연구진은 페르소나의 출처가 중요한지 궁금해했습니다. 페르소나가 추상적인 묘사 데이터베이스에서 왔는지, 아니면 전문적인 기술 데이터베이스에서 왔는지가 중요할까요? 그들은 그것이 별로 중요하지 않다는 것을 발견했습니다. AI에게 "사회학 교수"가 되라고 하든 "교육과정 개발 기술을 가진 사람"이 되라고 하든, 효과는 비슷했습니다. 가장 중요한 것은 역할(예: 사실 확인자 vs 반대론자)과 AI 모델의 크기였습니다.

이것이 왜 중요한가

이 논문은 AI 심사위원이 쓸모없다고 말하는 것이 아닙니다. 오히려, 특히 크고 강력한 모델의 경우, AI 심사위원이 거시적인 관점을 안정적으로 유지하는 데 매우 유용하다는 점을 시사합니다. 하지만 저자들은 AI 심사위원이 완벽한 진리 전달자는 아니라고 경고합니다. 그들의 의견은 과업을 어떻게 프레이밍하느냐에 따라 영향을 받을 수 있습니다.

저자들은 이러한 "페르소나 변화"를 진단 도구로 사용해야 한다고 제안합니다. 이것을 다리를 테스트하는 스트레스 테스트라고 생각해보세요. 만약 다리를 살짝 흔들었는데(페르소나를 바꿨는데) 너무 많이 흔들린다면, 당신은 그 다리(또는 검색 시스템)에 약점이 있다는 것을 알 수 있습니다. 어떤 검색 시스템이 AI의 "기분" 변화에 따라 순위가 바뀌는지 확인함으로써, 연구자들은 평가 방식에 너무 민감하게 반응하는 시스템을 찾아낼 수 있습니다.

요약하자면, 이 논문은 AI가 훌륭한 심사위원이 될 수 있지만, 우리가 그것에게 씌우는 "의상"에 주의를 기울여야 한다는 교훈을 줍니다. 만약 우리가 신뢰할 수 있는 결과를 원한다면, 가장 크고 똑똑한 모델을 사용해야 하며, AI에게 심사를 어떻게 요청하느냐가 결과에 미묘한 영향을 줄 수 있음을 이해해야 합니다. 이는 인공지능의 세계에서도 관점이 중요하다는 점을 상기시켜 줍니다.