기술 요약: FriendBench

문제 정의

사회적 지능은 명시적인 언어적 내용이 아니라 행동적 단서를 바탕으로 대인 관계를 추론하는 능력을 요구한다. AI 시스템이 인간의 상호작용을 중재하는 과업을 점점 더 많이 맡게 됨에 따라, 다중 모드(multimodal) 행동으로부터 사회적 역동성을 추론하는 능력에 대한 평가가 미흡하다는 점이 드러나고 있다. 구체적으로, 사전 친밀도(두 사람이 이전에 만난 적이 있는지 여부)의 추론을 대화의 의미론적 내용으로부터 분리하여 평가할 수 있는 벤치마크가 부족한 실정이다.

기존 연구들은 관계를 추론하기 위해 각본이 있는 대화, 장면의 맥락, 또는 외양에 의존하거나, 명확한 정답(ground truth)이 없는 감정이나 의도와 같은 주관적 구성 개념을 대상으로 삼는 경우가 많다. 저자들은 사회적 지각에 대한 "깨끗한" 탐사가 얇은 조각(thin-slice) 행동 단서(Ambady and Rosenthal, 1992)에 기반해야 한다고 주장한다. 즉, 대화 주제를 통제함으로써 관찰자가 '무엇을 말하는가'가 아니라 '어떻게 상호작용하는가'(조정, 반응, 방향성 등)에만 의존하도록 강제해야 한다는 것이다.

방법론

벤치마크 구축 (FriendBench)

저자들은 Seamless Interaction 데이터셋(Agrawal et al., 2025)에서 유래한 이진 분류 벤치마크인 FriendBench를 소개한다.

• 자극물: 자연스러운 "Either-Or" 아이스브레이킹 상호작용에서 추출된 96개의 균형 잡힌 쌍(48개 친밀, 48개 낯선 관계).
• 통제: 모든 쌍은 동일한 유형의 강제 선택 가설적 질문(예: "하늘을 나는 것과 투명 인간이 되는 것 중 무엇을 선호합니까?")에 응답한다. 이는 대화 주제가 클래스 간에 일치하도록 보장하여, 의미론적 내용이 정답을 드러내지 못하게 방지한다.
• 모달리티(Modality): 각 상호작용은 세 가지 조건에서 평가된다:
  1. 텍스트(Text): 전사(transcript)만 포함.
  2. 오디오(Audio): 음성만 포함.
  3. 비디오(Video): 시청각(음성 + 가시적 행동) 포함.
• 설계: 데이터셋은 피험자가 중복되지 않도록 설계되었으며(한 개인이 두 개 이상의 쌍에 등장하지 않음), 혼란 변수를 배제하기 위해 녹화 장소와 성별 구성을 층화하였다. 클립은 20초 길이이며, 발화 전환 경계에 맞춰 절단되었다.

평가 프로토콜

• 인간 베이스라인: 약 90명의 평가자(총 약 280명)가 참여한 크라우드소싱 연구. 평가자들은 강제 선택 과업을 수행했다. 설계에는 교차 무작위 효과(crossed random effects)를 통해 개별 평가자의 정확도와 응답 편향을 모델링할 수 있도록 하는 계획된 결측(planned-missing), 6-블록 불완전 구조가 사용되었다.
• 모델 평가: 7개 기업(OpenAI, Google, Anthropic, Alibaba, Mistral, Thinking Machines, Meta)의 26개 모델을 제로샷(zero-shot) 설정에서 평가했다. 모델 프롬프트는 과업 프레이밍의 동등성을 보장하기 위해 인간의 지침을 직접 변형하여 제작되었다.
• 지표:
  • 정확도(Accuracy): 전체 분류 정확도.
  • 클래스별 재현율(Per-class Recall): "친밀함" 대 "낯선 관계"에 대한 민감도.
  • 신호 탐지 이론(Signal Detection Theory): $d'$ (판별 능력) 및 $c$ (응답 편향). 양수의 $c$는 "낯선 관계"로 치우친 편향을 나타낸다.

주요 기여

1. FriendBench 벤치마크: 대화의 의미론적 주제를 통제하여 행동적 단서를 고립시킨, 이인(dyadic) 친밀도 추론을 위한 다중 모드 데이터셋 및 평가 프레임워크 제공.
2. 매칭된 인간-모델 데이터셋: 96개 쌍 모두에 대한 텍s트, 오디오, 비디오 모달리티별 인간의 평가치를 공개하여, 매칭된 조건 하에서의 인간과 모델의 지각을 직접 비교할 수 있게 함.
3. 포괄적 모델 평가: 26개의 최첨단 모델(독점 모델 및 오픈 웨이트 모델)을 세 가지 모달리티 전반에 걸쳐 평가.
4. 지각 대 편향 분석: 판별(discrimination)(클래스를 구분하는 능력)과 응답 편향(response bias)(한 클래스로 치우치는 경향)을 구분하는 방법론적 기여를 통해, 모델과 인간이 서로 다른 메커니즘을 통해 유사한 정확도에 도달함을 밝힘.

결과

정확도 및 모달리티

• 인간 성능: 인간은 텍스트에서 우연 수준(crowd accuracy 51.0%)의 성능을 보이지만, 더 풍부한 모달리티에서 유의미하게 향상된다: 오디오 63.5%, 비디오 71.9%.
• 모델 성능: 최상의 모델들은 모든 모달리티에서 인간 집단과 통계적으로 구별할 수 없는 수준의 정확도를 달성한다 (예: 오디오/비디오에서 최상위 모델 66.7% vs 인간 63.5%/71.9%).
• 모달리티에 따른 이득:
  • 텍스트: 인간과 모델 모두 신뢰할 만한 신호를 찾지 못하며, 성능은 우연 수준에 가깝다.
  • 오디오: 인간과 모델 모두 텍스트에 비해 신뢰할 만한 판별력을 얻는다.
  • 비디오 (시청각): 인간은 가시적 행동을 통해 추가적인 신뢰할 만한 이득을 얻는다 (오디오 $\to$ 비디오 이득 +11.0%). 모델은 그렇지 못하다. 최상위 모델들은 오디오와 비디오 사이에서 정체된다 (예: Gemini Video 66.7% vs Gemini Audio 66.7%), 즉 인간이 활용하는 시각적 단서를 활용하지 못한다.

응답 편향 및 판별

전체적인 정확도는 유사하지만, 메커니즘은 다르다:

• 인간: 모달리티 전반에 걸쳐 균형 잡힌 결정 규칙을 유지한다 (기준 $c \approx 0$). 친밀한 쌍과 낯선 쌍을 모두 비교적 균형 있게 식별한다.
• 모델: 강력한 "낯선 관계"에 대한 응답 편향을 보인다.
  • 텍스트에서 모델은 "낯선 관계" 쪽으로 크게 치우친다 (예: $gpt\_text\_mini$는 낯선 관계에 대한 재현율은 91.7%이지만, 친밀한 쌍에 대한 재현율은 20.8%에 불과함).
  • 비디오에서 최상위 모델($gemini\_video$)은 높은 정확도($d' \approx 1.12$)를 달성하지만, 이는 거의 모든 쌍을 "낯선 관계"로 라벨링함으로써 얻어진 결과이다 (낯선 관계 재현율 91.7%, 친밀한 쌍 재현율 41.7%). 반면 인간 집단은 균형을 유지한다 ($c = 0.06$).
• 결론: 모델은 인간의 판별력을 따라잡음으로써 정확도를 높이는 것이 아니라, 낯선 관계가 더 흔하다고 가정하는 효과적인 사전 확률(prior)을 채택함으로써 정확도를 높인다.

개인차 및 난이도

• 평가자 특성: 개인의 사회적 지능 특성(TSIS)은 오디오 및 비디오에서의 정확도와 거의 상관관계가 없다.
• 쌍(Dyad)의 난이도: 난이도는 상호작용 자체의 속성이다. 인간에게 어려운 쌍은 일반적으로 모델에게도 어려우며, 이러한 난이도는 모달리티 간에 전이된다 (예: 오디오-비디오 상관관계 $r=0.61$). 그러나 인간과 모델은 서로 다른 결정 규칙 때문에 서로 다른 클래스를 놓치는 경우가 많다.

의의 및 주장

본 논문은 현재의 다중 모드 모델들이 이 특정 사회적 지각 과업에서 인간 수준의 정확도에 도달했을지라도, **인간과 같은 지각(human-like perception)**을 구현하고 있지는 않다고 주장한다.

1. 시각적 격차 (The Visual Gap): 가장 중요한 차이점은 시각적 채널의 활용에 있다. 인간은 가시적인 행동 단서를 음성 이상의 정확도 향상으로 확실히 전환하지만, 현재의 모델은 음성 신호는 포착하면서도 시각적 채로를 충분히 활용하지 못한다.
2. 편향 대 판별 (Bias vs. Discrimination): 사회적 지각 과업에서의 높은 정확도는 심각한 클래스 편향을 은폐할 수 있다. 모델은 단순히 "낯선 관계"를 기본값으로 설정함으로써 유능해 보일 수 있는데, 이는 기저율(base rate)이 다르거나 "친밀한" 쌍을 놓쳤을 때의 결과가 다른 실제 환경에 배치될 경우 실패할 수 있는 행동이다.
3. 평가 표준: 저자들은 사회적 지각을 평가하기 위해서는 단일 정확도 지표 그 이상이 필요하다고 주장한다. 클래스별 재현율, 신호 탐지 통계($d'$ 및 $c$), 그리고 항목 수준의 난이도와 같은 지표들이 모델이 진정으로 상호작용을 "이해"하고 있는지, 아니면 단순히 통계적 사전 확률을 이용하고 있는지를 밝히는 데 필수적이다.

이 벤치마크는 미래의 모델이 단순히 음성에만 의존하거나 편향된 사전 확률에 기대는 것이 아니라, 인간처럼 가시적 행동을 활용하여 관계를 읽어낼 수 있는지 확인하기 위한 추적 메커니즘 역할을 한다.