기술 요약: SCENE – 그룹 채팅에서의 사회적 규범 인식 및 제재

문제 제기

온라인 그룹 채팅은 명시적으로 진술되지는 않았으나 위반 시 사회적 제재를 통해 강제되는 암묵적 행동 패턴 (규범) 에 따라 운영됩니다. 대규모 언어 모델 (LLM) 에이전트가 사회적 맥락에서 점점 더 많이 배포되고 있지만, 이러한 숨겨진 규범을 추론하고, 이를 위반했을 때 제재를 받았음을 인식하며, 이에 따라 행동을 적응시키는 능력은 여전히 largely 미탐구 상태입니다. 기존 벤치마크는 명시적 목표를 가진 이원적 상호작용 (예: Sotopia) 이나 정적, 일회성 판단 (예: SocialIQa) 에 주로 초점을 맞추어, 에이전트가 명시적 지시 대신 관찰과 반응을 통해 학습해야 하는 실제 세계의 규범 추론이 갖는 역동적이고 다자적인 특성을 포착하지 못합니다.

방법론

저자들은 다자 채팅 환경에서 암묵적 규범 추론과 행동 적응을 평가하도록 설계된 벤치마크인 SCENE을 소개합니다.

1. 시나리오 생성 및 분류 체계

SCENE 은 5-튜플 구조 $\tau = (e, n, \ell, s, p)$를 기반으로 상호작용적으로 그럴듯한 합성 그룹 채팅 시나리오를 생성합니다:

• 사건 ($e$): 채팅의 맥락 (예: 시험 결과, 버그 리포트, 행사 계획).
• 규범 ($n$): 행동을 지배하는 숨겨진 암묵적 규범 (예: "어두운 유머 어조" 대 "연대적 지지"). 규범은 모델이 지역적 맥락에 적응하는지 아니면 기본 어시스턴트 행동에 의존하는지 테스트하기 위해 반대 쌍으로 조직됩니다.
• 유도자 ($\ell$): 대상 에이전트가 행동하도록 위치시키는 트리거 (예: 명시적으로 언급됨, 열린 발언 기회).
• 제재 ($s$): 위반 시 그룹이 사용하는 사회적 제재 방식 (예: 침묵 무시, 교정적 반응, 명시적 지적).
• 선례 ($p$): 대상이 행동하기 전에 이전 위반 - 제재 사이클을 관찰했는지 여부.

시스템은 13 가지 사건, 14 가지 규범, 7 가지 유도자, 6 가지 제재 양식, 2 가지 선례 상태의 카테시안 곱에서 21,952 개의 유효 튜플을 필터링합니다.

2. 2 단계 생성 파이프라인

대상 에이전트가 규범을 조기에 노출되지 않도록 하기 위해, 생성은 LLM 을 사용하여 2 단계로 진행됩니다:

1. 규범 맹목 단계: 규범을 언급하지 않고 채팅의 발판 (설정, 참여자, 맥락) 을 생성합니다.
2. 규범 인지 단계: 특정 규범, 스크립트된 페르소나를 위한 행동 지침, 제재 스크립트를 포함한 숨겨진 필드를 채웁니다.

3. 런타임 및 에이전트

• 대상 에이전트: 평가 중인 모델로, 1 인칭 브리핑으로 초기화되지만 평가나 숨겨진 규범에 대해서는 인지하지 못합니다.
• 스크립트된 페르소나: 그룹을 시뮬레이션하는 3~4 개의 LLM 구동 에이전트입니다. 이들은 숨겨진 규범에 구속되며 할당된 특정 양식을 사용하여 위반을 제재하도록 지시받습니다.
• 오케스트레이터: 턴 전환 및 종료 조건을 관리합니다.
• 행동 공간: 에이전트는 메시지를 보내거나, 이모지로 반응하거나, 침묵할 수 있습니다. 이 제한된 공간은 사실적 내용보다 상호작용 형태에 평가 초점을 맞춥니다.

4. 평가 지표

SCENE 은 채팅 기록에서 도출된 행동 지표를 사용하여 세 가지 핵심 능력을 평가합니다:

• 수정률 (Repair Rate): 제재 후 1~3 턴 이내에 대상이 "체면 구제용 수정" (사과, 철회, 어조 전환) 을 수행하는 빈도.
• 적응 (증거 의존적): 이전 규범 시연 횟수 ($X$) 와 이후 위반률 ($Y$) 사이의 스피어만 $\rho$로 측정됩니다. 음의 상관관계는 에이전트가 관찰된 그룹 행동에서 학습하고 있음을 나타냅니다.
• 상반된 규범 하의 준수: 모델이 상충되는 규범 (예: 공식적 대 비공식적 호칭) 사이를 전환할 수 있는지, 아니면 고정된 스타일로 기본화되는지 테스트합니다.

스크립트된 페르소나가 규범을 준수하고 의도대로 제재를 제공했는지 확인하기 위해 사후 **정밀도 감사 (Fidelity Audit)**가 수행되어 유효하지 않은 에피소드를 필터링합니다.

주요 결과

저자들은 6,000 개의 에피소드에 걸쳐 6 개의 최첨단 및 오픈 가중치 모델 (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1, Gemma 2-27B) 을 평가했습니다.

1. 제재 반응성: 최첨단 폐쇄형 모델이 오픈 가중치 모델보다 현저히 우수했습니다. Claude Opus 4.7은 84.3% 의 수정률을 달성했고, Gemini 3.1 Pro는 79.7% 를 달성했습니다. 오픈 가중치 모델은 현저히 뒤처졌습니다 (57.6% 에서 71.9% 범위). 직접적인 지적은 패러디적 조롱보다 더 높은 수정률을 유발했습니다.
2. 규범 적응: 최첨단 모델 두 개만이 통계적으로 유의한 음의 스피어만 상관관계 ($\rho \approx -0.33$ 및 $-0.24$) 를 보였으며, 이는 이전 시연을 관찰한 후 위반을 성공적으로 줄였음을 나타냅니다. 오픈 가중치 모델은 0 과 구별할 수 없는 상관관계를 보여 증거 의존적 적응의 부재를 시사했습니다.
3. 기본 편향: 모델들은 지역적 규범을 압도하는 강력한 기본 행동을 보였습니다. 예를 들어, 모든 모델은 비공식적 호칭보다 공식적 호칭 규범을 훨씬 더 자주 위반했는데, 이는 캐주얼한 어조에 대한 계층적 편향을 시사합니다.
4. 정밀도: 스크립트된 페르소나는 에피소드의 대다수에서 의도된 테스트를 성공적으로 구현했으며, 스크립트된 페르소나의 위반이 포함된 에피소드는 2.1% 에 불과했습니다.

중요성 및 주장

이 논문은 SCENE 을 3 인칭 추론을 테스트하는 정적 마음 이론 (ToM) 벤치마크를 넘어선 역동적, 상호작용적 LLM 사회적 능력 평가를 위한 필수 단계로 위치시킵니다.

• 1 인칭 적응: 저자들은 에이전트의 진정한 사회적 지능이 정신 상태에 대한 질문에 답하는 것이 아니라, 관찰된 제재를 기반으로 실시간으로 행동을 적응시키는 것이라고 주장합니다.
• 능력 격차: 결과는 최첨단 폐쇄형 모델과 오픈 가중치 모델 간의 사회적 적응에서 상당한 격차를 드러내며, 현재 오픈 가중치 모델은 상호작용만으로 암묵적 사회적 규칙을 추론하는 데 어려움을 겪고 있음을 시사합니다.
• 한계: 저자들은 SCENE 이 짧고 합성적이며 텍스트만으로 구성된 에피소드 내의 좁은 형태의 사회적 적응을 테스트한다는 점을 인정합니다. 이는 일반적인 도덕적 판단, 장기적 커뮤니티 소속감, 또는 실제 세계 그룹에서 발견되는 상충되는 중첩 규범을 처리하는 능력을 측정하지는 않습니다.
• 위험: 논문은 개선된 규범 추론이 사회적 공학을 용이하게 하거나, 지역적 어조가 독성 그룹 행동을 보상할 경우 에이전트가 이를 모방하게 할 수 있음을 지적하며, 공개 및 배포 통제의 필요성을 강조합니다.

요약하자면, SCENE 은 LLM 이 "분위기를 읽을" 수 있는지, 사회적 교정을 받았음을 인식하고 이에 따라 행동을 조정할 수 있는지를 측정하는 통제된 환경을 제공하며, 최첨단 모델들이 이 능력을 습득하기 시작하고 있지만 이 능력이 아직 전 분야에서 보편화되지 않았음을 드러냅니다.