특징: "이 요리는 가부장적 구조를 반영하고 있네", "여주인공의 역할이 중요해"처럼 깊이 있고 복잡한 이론으로 맛을 분석합니다.
일반인들 (Lay People): 고등학생, 축구 선수, 바텐더, 택시 기사 등.
특징: "음, 이거 좀 더 맛있어 보이네", "이야기 흐름이 자연스러워"처럼 직관적이고 일상적인 느낌으로 평가합니다.
2. 실험 결과: "혼자보다 함께가 낫다"
이 31 명이 각각 점수를 매긴 후, **다수결 (여럿이서 투표)**로 최종 답을 냈습니다. 결과는 놀라웠습니다.
혼자 할 때: 일반인 (고등학생, 택시 기사 등) 이 전문가보다 점수가 더 높았습니다.
함께 할 때 (다수결): 전문가들이 모여서 의견을 모았을 때, 일반인들만 모인 경우보다 정답률이 더 높아졌습니다.
🔍 왜 그럴까요? (오류의 다양성)
일반인들: 의견이 비슷합니다. "이건 비슷해"라고 다들 같은 이유로 맞히거나, 같은 이유로 틀립니다. (오류가 겹침)
전문가들: 각자 다른 이론을 가지고 있어서, 틀릴 때도 서로 다른 이유로 틀립니다. (오류가 섞임)
결론: 서로 다른 이유로 틀리는 사람들이 모여 다수결을 하면, 서로의 오류를 상쇄시켜 정답에 더 가까워집니다. 마치 다양한 각도에서 문제를 바라보면 실수를 줄일 수 있는 것과 같습니다.
3. 의외의 발견: "여성과 관련된 단어"의 함정
가장 흥미로운 부분은 페미니스트 비평가나 성별 분석가 같은 캐릭터들의 결과였습니다.
이 캐릭터들이 답변할 때 "여주인공", "가부장제", "성 역할" 같은 단어를 많이 썼을수록, 정답을 맞힐 확률이 떨어졌습니다.
왜일까요? 두 가지 가능성이 있습니다.
해석의 차이: 이 단어들을 쓰는 것은 훌륭한 해석일 수 있지만, 이 실험의 '정답지 (Ground Truth)'에는 그런 관점이 반영되어 있지 않았을 수 있습니다. (예: 정답지는 "줄거리가 비슷하다"고 했지만, 페미니스트 비평가는 "여성의 역할이 비슷하다"고 봐서 틀린 것으로 판정됨)
주의 분산: 성별 문제에 집중하다 보니, 이야기의 전체적인 흐름을 놓쳤을 수 있습니다.
이는 **"진짜 중요한 해석이 정답지에 없을 수도 있다"**는 것을 시사합니다.
💡 이 연구가 우리에게 주는 메시지
정답은 하나일 수 없다: 이야기의 의미를 파악할 때, 한 가지 관점 (예: 오직 줄거리만) 으로만 평가하는 것은 불완전합니다. 다양한 관점 (전문가 + 일반인) 을 섞는 것이 더 현명한 판단을 내리게 합니다.
다양성이 힘이다: 똑똑한 사람 한 명보다, 서로 다른 생각을 가진 여러 사람이 모인 집단이 더 똑똑한 결정을 내릴 수 있습니다.
평가 기준의 재고: 만약 AI 가 "페미니즘 관점"으로 분석했을 때 정답이 아니라고 나온다면, 그건 AI 가 틀린 게 아니라 우리가 정답을 너무 좁게 정의했을 가능성이 있습니다.
📝 한 줄 요약
"이야기의 유사성을 판단할 때, 똑똑한 전문가 한 명보다 다양한 배경을 가진 31 명의 '요리사'들이 모여 투표하는 것이, 오히려 더 정확한 맛을 찾아내는 지름길이다."
이 연구는 앞으로 AI 가 글을 읽고 이해할 때, 단순한 정답 맞추기를 넘어 다양한 해석을 존중하는 시스템으로 발전해야 함을 강조합니다.
1. 문제 정의 (Problem)
서사적 유사성 예측의 본질적 난제: 서사 (이야기) 의 유사성을 예측하는 작업은 본질적으로 해석적 (interpretive) 인 태스크입니다. 동일한 텍스트라도 서로 다른 관점과 해석 프레임워크에 따라 상이한 유사성 판단이 도출될 수 있습니다.
단일 정답 (Ground Truth) 의 한계: 기존의 의미론적 평가 벤치마크는 종종 단일한 정답 (ground truth) 을 가정합니다. 그러나 해석적 태스크에서는 여러 가지 타당한 해석이 공존할 수 있으므로, 이를 '오류'로 간주하거나 극복해야 할 과제로만 취급하는 것은 한계가 있습니다.
연구 질문: 다중 관점성 (multiperspectivity) 을 방해 요소가 아닌, 예측 시스템의 의사결정 과정에 통합할 수 있는 자원으로 활용할 수 있는가?
2. 방법론 (Methodology)
저자들은 **Condorcet Jury Theorem (CJT)**에 기반하여, 독립적이고 유능한 투표자들이 모일 때 집단적 결정의 정확도가 향상된다는 가설을 검증했습니다.
LLM 페르소나 앙상블 (Ensemble of LLM Personas):
총 31 개의 LLM 페르소나를 구성하여 실험했습니다.
카테고리:
Practitioners [P] (실천가): 비판적 해석학, 페미니스트 문학 비평, 탈식민주의 이론 등 명시적인 해석 프레임워크를 가진 역할 (예: 문학 비평가, 페미니스트 비평가, 포스트식민주의 비평가).
Lay People [L] (일반인): 직관적이고 일상적인 역할을 가진 캐릭터 (예: 고등학생, 축구 선수, 바텐더, 관광 가이드).
모델 다양성: 3 개의 서로 다른 오픈 가중치 모델 (Gemma 27B-it, Qwen3-14B, gpt-oss-20b) 을 사용하여 각 페르소나당 3 개의 예측을 생성했습니다.
투표 구성 (Voting Configurations):
개별 페르소나: 단일 모델과 단일 페르소나의 예측.
모델별 다수결 투표: 특정 모델 내에서 31 개 페르소나의 다수결.
크로스-모델 다수결 투표: 31 개 페르소나 × 3 개 모델 = 총 93 개의 예측을 종합한 다수결.
데이터셋: SemEval-2026 Task 4 (서사적 유사성 예측) 데이터셋 사용 (개발 세트 200 개, 테스트 세트 400 개).
3. 주요 결과 (Key Results)
앙상블 크기와 정확도:
앙상블 크기가 커질수록 다수결 투표의 정확도가 향상되었습니다 (Condorcet Jury Theorem 의 경향성).
최적의 앙상블 (31 개 페르소나 × 3 모델) 은 테스트 세트에서 0.705 의 정확도를 달성하여 47 개 팀 중 13 위를 기록했습니다.
개발 세트에서 최적화된 소규모 서브셋 (k=8) 을 찾았으나 (82.0%), 테스트 세트에서는 단순 다수결 (0.7025) 과 거의 동일한 성능 (0.705) 을 보여, 광범위한 관점의 집약이 과적합 (overfitting) 에 더 강건함을 시사했습니다.
페르소나 카테고리별 성능 차이:
개별 성능: 일반인 [L] 페르소나가 실천가 [P] 페르소나보다 개별적으로 더 높은 정확도를 보였습니다.
앙상블 이득: [P] 페르소나들은 개별 정확도는 낮았으나, 오류 상관관계 (error correlation) 가 낮았습니다. 즉, 서로 다른 관점에서 다른 실수를 하여 다수결 투표 시 [L] 보다 더 큰 앙상블 이득을 창출했습니다.
성별/페미니즘 어휘와 정확도의 부정적 상관관계:
'female', 'gender roles', 'patriarchal', 'objectification' 등 성별 중심 해석에 특화된 어휘를 사용한 경우, 정확도가 유의미하게 하락하는 경향이 관찰되었습니다.
이는 해당 어휘가 벤치마크의 정답 (ground truth) 에 부합하지 않는 해석을 유도했거나, 벤치마크가 포함하지 않은 유효한 해석을 반영했음을 시사합니다.
4. 주요 기여 (Key Contributions)
다중 관점성의 모델링: 해석적 태스크에서 다중 관점성을 단순한 노이즈가 아닌, 예측 성능을 높이는 자원으로 활용하는 새로운 접근법을 제시했습니다.
페르소나 기반 앙상블의 효과 입증: 다양한 해석 프레임워크 (실천가) 와 직관적 접근 (일반인) 을 결합한 LLM 페르소나 앙상블이 단일 모델이나 동질적인 그룹보다 우수한 성능을 보임을 실증했습니다. 특히, 개별 성능은 낮지만 오류가 덜 상관된 (diverse) 그룹이 앙상블에서 더 큰 가치를 가짐을 보였습니다.
벤치마크의 한계 지적: 성별 관련 어휘를 사용한 해석이 정확도 하락과 연결된다는 발견은, 현재 서사적 유사성 벤치마크가 해석적 다양성 (interpretive plurality) 을 충분히 포착하지 못하고 있을 가능성을 제기합니다. 즉, 정답이 아닌 유효한 해석이 '오답'으로 처리될 수 있음을 경고합니다.
5. 의의 및 시사점 (Significance)
NLP 평가 프레임워크의 재고: 해석이 필요한 태스크 (서사 이해, 텍스트 분석 등) 에서는 단일 정답을 강요하기보다, 해석의 다양성을 수용하고 이를 평가 체계에 반영할 필요가 있음을 강조합니다.
에이전트 시스템 설계: 다중 에이전트 시스템에서 '다양한 관점'을 가진 에이전트들을 구성할 때, 개별 에이전트의 최고 성능보다는 **오류의 다양성 (error diversity)**을 고려하여 앙상블을 구성하는 것이 더 효과적일 수 있음을 보여줍니다.
미래 연구 방향: 단순 다수결 투표가 효과적이었으나, 에이전트 간의 대화 (Multi-agent Debate) 를 통한 상호작용이 추가적인 성능 향상을 가져올 수 있는지에 대한 후속 연구의 필요성을 제기합니다.
결론적으로, 이 논문은 서사적 유사성 예측에서 '다양한 해석'을 시스템의 강점으로 전환하는 전략을 제시하며, 현재의 평가 기준이 가진 해석적 편향을 비판적으로 성찰하게 만듭니다.