Where Norms and References Collide: Evaluating LLMs on Normative Reasoning

기술 요약: 규범적 추론에 대한 LLM 평가

문제 정의
로봇과 같은 체화된 에이전트(Embodied agents)는 물리적 및 사회적 맥락에 근거하여 암묵적인 사회적 규범을 추론함으로써 성공적인 의사소통을 수행하는 상황적 환경에서 작동하며, 이는 **규범 기반 참조 해상(Norm-Based Reference Resolution, NBRR)**에 의존합니다. 이 과정은 맥락에 따른 참조 표현(예: "컵 좀 가져다줘")을 해석할 때, 물리적 및 사회적 맥락에 근거한 암묵적 사회 규범(예: 서빙 상황에서 더러운 컵 대신 깨끗한 컵을 선택하는 것)을 추론하는 것을 요구합니다. 대규모 언어 모델(LLM)은 일반적인 상식 추론 및 질의응답에서 강력한 능력을 보여주지만, 이들이 이러한 특정한, 물리적으로 접지된(physically grounded) 규범을 특히 그것이 암묵적이거나, 불충분하게 명시되었거나, 혹은 충돌하는 상황에서도 신뢰성 있게 식별하고 적용할 수 있는지는 여전히 불분명합니다. 기존의 참조 해상 데이터셋(예: Winograd Schema, WinoGrande)이나 사회적 규범 모델링(예: Social Chemistry 101)은 NBRR에 필요한 물리적 제약과 상황적 미묘함을 통합하지 못합니다.

방법론
이러한 격차를 해소하기 위해, 저자들은 LLM이 참조 해상을 위해 규범적 원칙을 추출하고 활용하는 능력을 조사하기 위해 설계된 인간 검증 진단 테스트베드인 **SNIC (Situated Norms in Context)**를 소개합니다.

1. 데이터셋 구축:
   • 시드 생성: 과정은 9가지 규범 추론 범주(예: 깨끗한 물건으로 서빙하기, 위험 요소 제거 우선순위 지정 등)로 그룹화된 120개의 수작업 시나리오에서 시작되었습니다.
   • 인간 검증: 210명의 참가자가 참여한 온라인 연구를 통해 초기 세트를 검증했습니다. 참가자들은 모호한 시나리오에서 참조 대상을 선택하고 그 근거를 제공했습니다. 저자들은 참가자들 사이에서 다수 선택된(가장 많이 선택된) 규범 유도 참조 대상만을 포함하도록 데이터를 필터링하여 51개의 "시드" 질문을 남겼습니다.
   • 절차적 증강: 규칙 기반 증강 전략을 사용하여, 검증된 51개의 시드를 9,000개의 예시로 확장했습니다. 이 과정은 핵심적인 규범 구조를 유지하면서 물체의 유형, 속성(예: 깨끗함 vs 더러움), 설정(예: 주방, 도서관), 작업(예: 청소, 서빙)을 다양화했습니다.
   • 형식: 데이터셋은 자연어 비네트(vignettes)를 포함하며, 일부 평가를 위해 객체의 정체성과 속성에 대한 모호성을 제거하는 공식 Prolog(1차 논리) 표현을 포함합니다.
2. 평가 프로토콜:
   저자들은 다양한 최신 LLM(Granite, Phi, Llama-3, Qwen, GPT-4 변형 모델 포함)을 다음 세 가지 조건 하에 평가했습니다:
   • 설명만 제공 (Description Only): 모델이 자연어 장면 설명을 받습니다.
   • 설명 + 정형화 (Description + Formalization): 모델이 장면 설명과 함께 장면의 Prolog 정형 명세를 받습니다.
   • 설명 + 정형화 + 명시적 규범 (Description + Formalization + Explicit Norms): 모델이 장면, 정형화된 명세, 그리고 따라야 할 명시적인 사회적 규범 목록을 모두 받습니다.

주요 결과

• 베이스라인 성능: 명시적인 가이드 없이는, LLM이 암묵적 규범에 기반하여 올바른 참조 대상을 일관되게 식별하는 데 어려움을 겪습니다. "설명만 제공" 및 "설명 + FOL" 설정에서의 모든 모델의 평균 정확도는 약 **44%**였으며, 가장 성능이 좋은 모델(GPT-4.1)은 정형화된 설정에서 약 **59.62%**를 달𝙖성했습니다.
• 정형화의 영향: Prolog 정형화를 추가하는 것이 전반적으로 성능을 유의미하게 향 향상시키지는 않았습니다. 일부 사례(예: Llama-3 3B)에서는 성능이 오히려 저하되었는데, 이는 모델이 사회적 모호성을 해결하기 위해 형식 논리를 활용하는 능력이 부족하거나, 정형화가 규범적 지식의 부재를 보완하지 못함을 시사합니다.
• 명시적 규범의 영향: 특정 사회적 규범이 문맥 내에 명시적으로 제공되었을 때, 모델의 성능은 크게 향상되어 평균 정확도가 **70.51%**까지 상승했습니다. GPT-4.1은 이 설정에서 **99.6%**의 정확도를 달성했습니다. 이는 LLM이 지시를 받았을 때 규범을 따를 수는 있지만, 문맥으로부터 규범을 스스로 추론하는 내재적 능력은 부족함을 나타냅니다.
• 규범 충돌: 규범 범주 간의 상관관계 분석 결과, 모델들이 특정 작업(예: 청결함)을 다른 작업(예: 안전)보다 일관성 없이 우선시하는 경우가 많았습니다. 이는 충돌하는 규범에 대한 의무적 힘(deontic force, 우선순위)에 대한 견고한 이해가 부족함을 시사합니다.

핵-기여

• SNIC 데이터셋: 물리적으로 접지된 맥락에서 규범 기반 참조 해상을 평가하기 위해 특별히 설계된 대규모(9,000개 인스턴스), 인간 검증 데이터셋을 구축했습니다.
• 진단 프레임워크: 암묵적 규범, 규범 충돌, 물리적 접지를 처리하는 LLM의 능력을 분리하여, 이를 일반적인 상식 추론과 구별하는 통제된 평가 방법론을 제시했습니다.
• 실증적 증거: 현재의 LLM이 명시적인 프롬프팅 없이는 암묵적 사회적 제약을 적용하는 데 어려움을 겪는, 규범적 추론에서의 "사각지대"를 가지고 있음을 입증했습니다.

의의 및 주장
본 논문은 SNIC가 현대 언어 모델의 결정적인 한계, 즉 물리적으로 위치한 사회적 규범에 대해 일관되게 추론하지 못하는 능력을 드러낸다고 주장합니다. 저자들은 LLM이 자주 언급되는 사실을 다루는 작업에는 뛰어나지만, 암묵적이거나 문화적으로 공유되거나 맥락 의존적인 규범을 다루는 데는 어려움을 겪는다고 논합니다. 이러한 격차는 언어 기반 시스템(예: 로봇 공학)을 사회적으로 위치한 환경에 배치할 때 중요한 과제가 됩니다. 에이전트는 명시적인 지시가 아닌 공유된 기대를 바탕으로 모호성을 해결해야 하기 때문입니다. 본 연구는 단순히 사전 학습 데이터의 규모에 의존하는 것이 아니라, 암묵적인 규범적 지식의 통합을 구체적으로 목표로 하는 추가적인 정렬(alignment) 및 훈련 전략이 필요함을 강조합니다. 저자들은 자신의 텍ate-based 테스트베드가 멀티모달 추론이나 물리적 행동 가능성(affordances)을 평가하지 않는다는 점을 언급하며, 최신 LLM의 급격한 진화로 인해 모든 최첨단 모델에 대해 광범위한 일반화를 내리는 것은 어렵다는 점을 들어 신중한 태도를 유지합니다.