💬 NLP

LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations

이 논문은 다자간 그룹 채팅에서 LLM 기반 에이전트가 암묵적인 로컬 사회적 규범을 추론하고 이에 적응하는 능력을 평가하기 위해 설계된 벤치마크인 LoSoNA를 소개하며, 명시적인 프롬프팅이 Gemini 3.1 Pro 및 Claude Fable 5와 같은 최상위 모델의 성능을 향상시키기는 하지만 대부분의 모델은 단순한 프롬프팅 환경에서는 여전히 이 과업에 어려움을 겪고 있음을 밝히고 있습니다.

원저자: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 커피숍에서 새로운 친구들의 모임에 합류했다고 상상해 보세요. 당신은 그들을 모르지만, 그들이 나누는 대화는 들을 수 있습니다. 몇 분이 지난 후, 당신은 한 가지 패턴을 발견합니다. 누군가 나쁜 소식을 공유할 때마다, 그룹 사람들은 "정말 안됐네요"라거나 "위로를 전합니다"라고 말하는 대신, 즉시 "그걸 해결할 계획은 뭐야?" 또는 "매뉴얼은 확인해 봤어?"라고 묻습니다.

만약 당신이 끼어들어서 따뜻하고 일반적인 "정말 안타까운 소식이네요"라는 말을 건넨다면, 당신은 그 그룹의 암묵적인 규칙을 놓쳤기 때문에 어색함을 느낄 수도 있습니다. 이 논문인 LoSoNA는 AI 챗봇이 직접적인 설명 없이도 오직 듣는 것만으로 이러한 숨겨진 규칙을 파악할 수 있는지 확인하기 위한 테스트입니다.

다음은 쉬운 비유를 사용하여 이 논문의 핵심 내용을 정리한 것입니다.

1. 문제 제기: "불문율(Unwritten Rulebook)"

현실 세계의 모든 집단에는 자신들만의 "지역적 사회 규범(local social norms)"이 있습니다. 이는 어떻게 행동하고, 말하고, 반응해야 하는지에 대한 성문화되지 않은 규칙입니다.

논문의 주장: 대부분의 AI 모델은 항상 "표준적인" 예의 바른 말(예: 일반적인 "안타깝네요")을 하는 예의 바른 관광객과 같습니다. 이들은 특정 그룹이 다른 숨겨진 규칙(예: "실질적인 조언만 한다")을 가지고 있을 때 이를 알아차리는 데 어려움을 겪습니다.
목표: 연구진은 AI가 관광객이 아닌 현지인처럼 행동할 수 있는지 알고 싶었습니다. AI가 그룹의 대화 이력을 듣고, 숨겨진 규칙을 찾아내어, 그에 맞춰 자신의 행동을 바꿀 수 있을까요?

2. 테스트: "미스터리 파티"

연구진은 LoSoNA(Local Social Norm Adaptation)라는 벤치마크를 만들었습니다. 이것은 AI를 위한 미스터리 파티 게임이라고 생각하면 됩니다.

설정: AI에게 그룹 대화의 스크립트(채팅 로그)가 주어집니다. 채팅 속의 다른 사람들은 비밀 규칙을 따릅고 있습니다 (예: "우리는 이모지를 절대 사용하지 않는다" 또는 "우리는 '예' 또는 '아니오'로만 대답한다").
함정: AI에게는 규칙이 알려지지 않습니다. AI는 그저 채팅 내용만을 봅니다.
도전 과제: 채팅은 질문(유도 질문)과 함께 끝납니다. AI는 답변을 해야 합니다.
- 만약 AI가 일반적이고 예의 바른 답변을 내놓는다면, 그것은 실패입니다 (규칙을 알아차리지 못했기 때문입니다).
- 만약 AI가 그룹의 독특하고 숨겨진 스타일과 일치하는 답변을 내놓는다면, 승리합니다.

비유: 당신이 모두가 손으로 음식을 먹고 있지만 아무도 이에 대해 말하지 않는 저녁 파티에 갔다고 상상해 보세요. 만약 당신이 배운 대로 "올바른 예절"을 지키기 위해 포크를 꺼낸다면, 당신은 테스트에서 탈락합니다. 만약 당신이 모두가 손을 사용하는 것을 보고 똑같이 따라 한다면, 통과하게 됩니다.

3. 실험: 다양한 "힌트" 시도

연구진은 8가지 서로 다른 AI 모델(GPT-5.5, Claude, Gemini 등)을 네 가지 다른 "지시(instruction)" 시나리오 하에 테스트하여 성능을 측정했습니다:

Naive (순진한 방식): "마지막 메시지에 그냥 답하세요." (힌트 없음).
Elicitor Only (유도 질문만 고려): "마지막 메시지에만 답하고 나머지는 무시하세요."
Style Adaptation (스타일 적응): "그룹의 톤과 스타일을 맞추려고 노력하세요."
Norm Informed (규범 인지): "이 채팅에는 숨겨진 패턴이나 규칙이 있을 수 있습니다. 그것을 찾아 따르도록 노력하세요."

4. 결과: 어떤 AI는 해냈고, 어떤 AI는 그러지 못했다

결과는 "훌륭함"과 "여전히 학습 중"이 섞여 있었습니다.

어려움: 힌트가 없을 때 (Naive), 대부분의 AI 모델은 처참하게 실패했습니다. 그들은 그룹의 숨겨진 규칙을 깨뜨리는 일반적이고 예의 바른 답변을 계속 내놓았습니다. 마치 AI가 눈가리개를 하고 있는 것과 같았습니다.
돌파구: 연구진이 "Norm Informed" 힌트(패턴을 찾으라고 알려주는 것)를 주었을 때, 일부 모델은 갑자기 매우 뛰어난 성적을 보였습니다.
- Gemini 3.1 Pro와 Claude Fable 5는 챔피언이 되어, 실패에서 시작해 약 **80-84%**의 정답률로 뛰어올랐습니다. 이들은 "패턴을 찾아보라"는 말을 듣자마자 즉시 퍼즐을 풀 수 있는 학생들과 같았습니다.
- 다른 모델들: Mistral 같은 일부 모델은 힌트를 주었을 때 오히려 성능이 떨어졌습니다. 마치 힌트가 그들을 혼란스럽게 만들어, 기본적으로는 맞출 수 있었던 답변조차 과하게 생각하다가 망쳐버린 것과 같았습니다.

5. 의미 (그리고 한계점)

증명된 것: 이 논문은 적절한 자극(nudge)이 주어진다면 AI가 지역적 집단의 행동에 적응하는 법을 배울 수 있음을 보여줍니다. 이는 AI가 단순히 항상 똑같은 예의 바른 말만 하는 로봇이 아니라, 군중의 모습에 따라 변할 수 있는 "카멜레온"이 될 수 있음을 증명합니다.
증명되지 않은 것: 이 논문은 이것이 매우 제한적인 테스트임을 명시하고 있습니다. 이것이 AI가 인간적인 의미에서의 "사회적 지능"을 가졌거나 깊은 인간의 감정을 이해한다는 뜻은 아닙니다. 단지 채팅 로그에서 패턴을 포착하여 단 하나의 답변을 복제할 수 있다는 것을 의미할 뿐입니다.
한계점: 이 테스트는 실제 인간의 대화가 아닌 가상의 채팅 시나리오를 사용합니다. 또한, 이 테스트는 장기적인 우정이 아닌 단 하나의 답변만을 살펴봅니다.

요약

LoSoNA는 AI가 "분위기를 읽는 능력(read the room)"에 대한 성적표입니다.

도움이 없을 때: 대부분의 AI는 분위기를 파악하지 못하고 기본적으로 설정된 예의 바른 스크립트에 머물러 있습니다.
힌트가 있을 때: 가장 똑똑한 AI들은 그룹의 비밀스러운 악수를 알아내어 그 속에 자연스럽게 녹아듭니다.
핵-심: 우리는 AI가 인간 집단에 섞여 들어갈 수 있는 단계에 가까워지고 있지만, 여전히 "로봇 관광객"에서 벗어나 "현지인"처럼 행동하기 위해서는 약간의 안내가 필요합니다.

기술 요약: LoSoNA – 그룹 대화에서의 로컬 사회적 규범 적응을 위한 벤치마크

1. 문제 정의

온라인 그룹 채팅는 "로컬 사회적 규범(local social norms)" 하에서 작동합니다. 이는 명시적으로 언급되는 경우는 드물지만, 특정 소규모 그룹에 특유한 암묵적이고 진화하는 행동 규칙을 의미합니다. 대규모 언어 모델(LLM)이 사회적 맥脈에서 점점 더 많이 배치되고 있지만, 이러한 무언의, 맥락 특화적인 규범을 인식하고 적응하는 능력은 여전히 미개척 영역으로 남아 있습니다.

기존 벤치마크들은 이러한 구체적인 능력을 다루는 데 실패하는 경우가 많습니다:

이인 간(Dyadic) vs. 다자간(Multi-party): 대부분의 사회적 벤치마크(예: Sotopia)는 명시적인 개인적 목표를 가진 이인 간 상호작용에 집중합니다.
명시적(Explicit) vs. 암묵적(Implicit): 많은 마음 이론(Theory of Mind, ToM) 벤치마크는 모델에게 정신 상태에 대한 질문에 답하거나 명시적인 지침을 따를 것을 요구하지만, 관찰을 통해 규칙을 추론하고 이를 단일 턴(single turn) 내에 적용하도록 요구하지는 않습니다.
일반적(Generic) vs. 로컬(Local): 표준적인 어시스턴트 행동은 보편적인 공손함이나 일반적인 유용함으로 귀결되는 경향이 있는데, 이는 특정 그룹의 로컬 규범(예: 정서적 지지보다는 건조하고 진단적인 응답을 선호하는 그룹)을 위반할 수 있습니다.

핵심 과제는 LLM 에이전트가 대화 트랜스크립트로부터 숨겨진 로컬 규범을 추론하고, 일반적인 어시스턴트와 차별화되는 단일 턴 응답을 생성하여 해당 규범을 준수할 수 있는지 결정하는 것입니다.

2. 방법론

LoSoNA 벤치마크

LoSoNA는 다자간 채팅에서 로컬 사회적 규범 적응을 평가하기 위해 설계된 벤치마크입니다. 이는 시나리오 생성 분류 체계, 평가 프로토콜, 그리고 점수 산정 시스템이라는 세 가지 주요 구성 요소로 이루어져 있습니다.

시나리오 구축:

구조: 각 시나리오는 튜플 $\tau = (e, n)$ 으로 구성됩니다. 여기서 $e$ 는 이벤트 유형(예: 시험 결과에 대한 반응, 버그 보고)이고, $n$ 은 암묵적인 로컬 사회적 규범(예: 사과 회피, 간결한 답변, 비친화적 지원)입니다.
트랜스크립트: 시나리오는 대상 에이전트에게 비대상 참여자들 사이의 다회차 채팅 트랜스크립트를 제공합니다. 이 참여자들은 상호작용을 통해 숨겨진 규범을 보여줍니다.
유도자(Elicitor): 마지막 메시지("유도자")는 로컬 적응 행동과 일반적 행동을 구분할 수 있는 응답을 강제하도록 생성됩니다.
제어 메커제니즘: 모델이 기본 동작이 아닌 추론을 수행하도록 보장하기 위해, 저자들은 "무사례 제시(no-demonstration)" 제어 방식을 사용했습니다. 그들은 베이스라인 어시스턴트(Gemini 3 Pro Preview)가 전례를 보지 않고도 자연스럽게 규범을 준수할 수 있는 시나리오를 걸러냈습니다. 최종 벤치마크 세트는 일반적인 응답이 규범을 위반할 가능성이 높은 시나리오만을 포함합니다.
합성적 성격: 시나리오는 합성적이지만 상호작용 측면에서 타당하도록 설계되었습니다. 데이터셋은 17개의 이벤트 유형과 22개의 규범 유형에서 추출된 38개의 인간 큐레이션 시나리오를 포함합니다.

평가 프로토콜:

대상 모델: 8개의 프론티어 및 오픈 웨이트 모델이 평가되었습니다: OpenAI GPT-5.5, Claude Opus 4.8, Claude Fable 5, Gemini 3.1 Pro, Qwen2.5-72B-Instruct, Llama 3.3-70B-Instruct, Mistral Medium 3.1, Gemma 3-27B-IT.
프롬프팅 조건: 명시적 지침의 효과를 측정하기 위해 모델을 네 가지 조건으로 테스트했습니다:
1. Naive (순수): 특별한 지침 없음; 모델은 그룹 구성원처럼 행동함.
2. Elicitor_only (유도자 전용): 이전 턴은 맥락으로만 사용하고, 마지막 메시지에만 답하도록 지시받음.
3. Style_adaptation (스타일 적응): 로컬 맥락, 톤, 습관에 맞추도록 부드럽게 지시받음.
4. Norm_informed (규범 인지): 반복되는 로컬 패턴이나 규범이 관련될 수 있음을 명시적으로 전달받음.
판정: 고정된 LLM 판정가(Temperature 0의 Gemini 3.1 Pro Preview)가 응답을 점수화합니다. 판정가는 트랜스크립트, 유도자, 숨겨진 규범 라벨, 그리고 준수/위반 응답의 예시를 받습니다. 판정가는 불리언(boolean) 형태의 준수 여부 라벨을 출력합니다.
지표: 주요 지표는 accuracy-at-3로, 시나리오 및 조건당 세 번 샘플링된 응답에 대한 다수결 투표로 정의됩니다.

3. 주요 결과

베이스라인 성능:
Naive 프롬프팅 하에서 벤치마크는 까다로운 것으로 증명되었습니다. 대부분의 모델이 37% 미만의 accuracy-at-3를 기록했습니다.

Gemini 3.1 Pro: 36.8%
Claude Fable 5: 47.4% (Naive 조건 중 최고점)
최저 성능 모델: 약 21~24% (예: Mistral Medium 3.1, Gemma 3-27B)
관찰 사항: Naive 프롬프팅은 여전히 제한적입니다. 모델들은 로컬 규범을 위반하는 경우가 많은 일반적인 어시스턴트 행동으로 회귀하는 경향이 있습니다.

프롬프팅의 효과:
규범 인식을 위한 명시적 프롬프팅(norm_informed)은 모델 간에 매우 가변적인 결과를 나타냈습니다:

상당한 향상:
- Gemini 3.1 Pro: 47.4 퍼센트 포인트 개선되어 84.2%에 도달했습니다. 이 모델은 도입된 퇴보(regression) 없이 75%의 Naive 실패 사례를 복구했습니다.
- Claude Fable 5: 34.2 퍼센트 포인트 개선되어 81.6%에 도달했습니다. 이 모델은 퇴보 없이 70%의 Naive 실패 사례를 복구했습니다.
완만한 향상:
- Claude Opus 4.8 및 Gemma 3-27B는 약 10.5 포인트 개선되었습니다.
- Llama 3.3-70B는 7.9 포인트 개선되었습니다.
미미하거나 부정적인 향상:
- GPT-5.5: 변화가 거의 없었습니다.
- Qwen2.5-72B: 변화가 없었습니다.
- Mistral Medium 3.1: 10.5 포인트 하락했으며, 이전에 성공했던 시나리오의 38%에서 퇴보를 일으켰습니다.

프롬프팅에 대한 결론: 명시적인 규범 인지 프롬프팅이 일률적으로 유익한 것은 아닙니다. 이는 힌트를 활용하면서도 기존의 준수하는 응답을 방해하지 않는 모델 능력의 상당한 차이를 드러냅니다.

4. 주요 기여

LoSoNA 벤치마크: 다자간 그룹 채팅에서 암묵적인 로컬 사회적 규범을 추론하고 적용하는 것을 구체적으로 겨냥한 새로운 평가 프레임워크를 제시했습니다.
기존 연구와의 차별화: Sotopia(이인 간, 목표 지향적)나 SocialIQa(비네트 기반 판단)와 달리, LoSoNA는 명시적인 목표 지침 없이 그룹 구성원의 관점에서 단일 턴 응답을 요구하며, 목표 달성이나 신념 추론보다는 행동 적응에 초점을 맞춥니다.
변동성에 대한 실증적 증거: 본 연구는 일부 프론티어 모델(Gemini 3.1 Pro, Claude Fable 5)은 프롬프팅 시 로컬 규범에 효과적으로 적응할 수 있는 반면, 다른 모델들은 어려움을 겪거나 심지로 퇴보한다는 점을 입증함으로써 현재 세대 LLM의 사회적 적응력에 대한 불균형을 보여줍니다.
합성 데이터 큐레이션: 로컬 규범 적응을 일반적인 어시스턴트 행동으로부터 분리하여 생성하고 큐레이션하는 방법론을 제공합니다.

5. 의의 및 한계점

의의:
본 논문은 LoSoNA가 LLM의 사회적 능력을 평가하라는 요구에 대해, 배포와 직결된 특정 기술(전례로부터 암묵적 로컬 대화 규범을 추론하고 이를 실시간 상호작용에 사용하는 능력)을 테스트함으로써 기여한다고 주장합니다. 이는 마음 이론(ToM)을 '정신 상태에 대한 질문에 답하는 것'을 넘어, '추론된 사회적 규칙에 따라 행동을 조정하는 것'인 "기능적 ToM"으로 확장합니다.

한계점:

범위: 이 벤치마크는 좁은 능력(단일 턴 적응)을 측정하며, 일반적인 사회적 지능, 도덕적 판단 또는 장기적인 커뮤니티 멤버십을 측정한다고 주장하지 않습니다.
합성 데이터: 시나리오는 합성적이며 영어로만 구성되어 있습니다. 실제 세계의 채팅은 겹치는 규범, 미디어, 편집, 개인 메시지 등을 포함하지만, 여기서는 이를 추상화했습니다.
스크리닝 편향: "무사례 제시" 스크리닝은 Gemini 3 Pro Preview를 베이스라인으로 사용했습니다. 따라서 Gemini 계열 모델에 대한 결과는, Gemini 기본 어시스턴트가 자연스럽게 성공할 수 있는 시나리오를 제외하도록 데이터셋이 필터링되었다는 점을 염두에 두고 해석해야 합니다.
판정가 편향: LLM 판정가(Gemini 3.1 Pro)의 사용은 특히 Gemini 대상 모델에 대해 모델 패밀리 편향을 유발할 수 있습니다. 그러나 인간 감사(85% 일치도)와 Claude Opus 4.8을 통한 교차 판정 검증을 통해 주요 질적 패턴이 유효함을 확인했습니다.
규모: 수용된 세트는 38개의 시나리오만을 포함하고 있어, 규범별 또는 이벤트별 분석은 통계적으로 견고하기보다는 진단적인 수준입니다.

광범위한 영향:
저자들은 개선된 규범 추론 능력이 AI 에이전트가 인간 참여자로서 더 설득력 있게 통과하게 하여, 잠재적으로 사회 공학(social engineering)을 용이하게 하거나 해로운 로컬 규범에 적응하게 만들 수 있다고 언급합니다. 이는 그룹 채팅 에이전트가 더 유능해짐에 따라 공개 및 배포 통제의 필요성을 강조합니다.