NoRA: Evaluating Grounded Reasonableness in Visual First-person Normative Action Reasoning

기술 요약: NORA – 시각적 1인칭 규범적 행동 추론에서의 근거 있는 합리성 평가

문제 정의

대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)의 규범적 역량—특히 실제 환경에서 사회적 규범과 행동을 위한 실질적 이유를 탐색하는 능력—에 대한 현재의 평가는 불충분하다. 기존의 벤치마크는 일반적으로 두 가지 결함이 있는 패러다임에 의존한다:

1. 텍스트 전용 도덕적 판단: 명시적으로 기술된 텍스트 사례에 대해 모델을 평가하며, 이는 시각적 증거로부터 관련 특징을 분리해내는 능력을 테스트하는 데 실패한다.
2. 객관식 질문(MCQ): 시각적 설정(예: EGONORMIA)에서도 모델은 고정된 선택지 메뉴를 제시받는다. 이러한 방식은 모델이 스스로 합리적인 행동 공간을 구축하는 능력보다는 정답 매칭 능력을 테스트한다.

본 논문은 이러한 방법들이 '아는 것과 행하는 것' 사이의 간극 중 "판단 측면"에 머물러 있다고 주장한다. 실제로 에이전트는 1인칭 비디오에서 규범적으로 유의미한 특징을 식별하고, 이를 추론하며, 사전에 정의된 후보 목록 없이도 정당화된 행동을 생성해야 한다. 현재의 모델들은 전체 합리적 대안 공간을 구축하거나, 선택된 행동을 올바른 국소적 지지(사실 및 이유)와 결합하는 데 자주 실패한다.

방법론: NORA 벤치마크

저자들은 **근거 있는 합리성(grounded reasonableness)**을 평가하기 위해 설계된 벤치마크인 NORA(Normative Reasoning in Action)를 소개한다. 이 개념은 모델이 두드ical한 장면 사실을 식별하고, 후보 행동에 대한 찬성 또는 반대 이유를 표현하며, 사회적으로 위치한 맥락 내에서 그러한 이유들에 의해 뒷받-되는 행동을 선택하는 능력을 의미한다.

데이터셋 구축

NORA는 철학자가 검토한 지침에 따라 주석이 달린 Ego4D 데이터셋의 클립을 기반으로 구축되었다. 데이터셋은 1,420개의 주석 처리된 비디오 클립으로 구성되며, 두 계층으로 나뉜다:

• HUMANGOLD-190: 인간 주석가에 의해 검증된 190개의 클립 세트.
• LLMSILVER-1230: 규모 확장을 위해 인간의 골드 스탠다드에 대비하여 LLM(GPT-5.4 및 Gemini-3.1-Pro)으로 검증된 1,230개의 클립 세트.

주석 스키마:
각 클립은 세 가지 원칙을 따르는 구조화된 결정 문제로 주석이 달린다:

1. 1인칭 관점: 장면에 가용한 시각적 증거에 엄격하게 근거한다.
2. 사실–이유–행동 순서: 주석은 사후 정당화를 피하기 위해 가시적인 사실, 사실에 기반한 이유, 그리고 이유에 기반한 후보 행동을 엄격한 순서대로 기록한다.
3. 합리적 행동의 다원성: 가시적인 증거에 근거하고 더 강력한 맥락적 고려 사항에 의해 무효화되지 않는 이유들에 의해 뒷받-되는 경우, 여러 행동이 합리적일 수 있다.

주석은 행동 중심 지지 그래프(action-rooted support graphs, $G = \{G_a : a \in A\}$)로 표현되며, 여기서 엣지는 국소적 지지 관계($f \to r \to a$)를 인코딩한다.

평가 프로토콜

평가는 참조 지지 그래프와 모델 출력을 비교함으로써 근거 있는 합리성을 측정한다. 메트릭은 세 가지 구성 요소로 분해된다:

1. 행동 정렬 ($Q_A$): 후보 다음 행동의 의미론적 회복.
2. 사실적 근거 ($Q_F$): 가시적인 장면 사실의 회복.
3. 지지 결합 ($Q_S$): 사실과 이유가 적절한 행동에 올바르게 결합되었는지 여부.

주요 집계 메트릭은 이 세 가지 구성 요소의 기하 평균이다: $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$. 이는 모델이 적절한 행동을 생성하더라도 사실에 근거하지 못하거나 이유에 올바르게 결합하지 못할 경우 높은 점수를 얻을 수 없도록 보장한다.

프롬프팅 레짐(Prompting Regimes):
연구는 서로 다른 수준의 정당화를 테스트하기 위해 12개의 VLM을 세 가지 뚜로 다른 프롬프팅 조건 하에서 평가한다:

• 직접적 (단순 - Direct/Simple): 최소한의 설명과 함께 다음 행동을 요청한다 (배포 상황 시뮬레이션).
• 심사숙고 (중간 - Deliberate/Medium): 선택 전 후보 행동과 이유에 대한 자유 형식의 분석을 요구한다.
• 구조적 (복잡 - Structured/Complex): 사실–이유–행동 스키마를 명시적으로 요청하며, 이는 벤치마크의 주석 형식과 밀접하게 일치한다.

주요 기여

1. NORA 벤치마크: MCQ를 넘어, 모델이 후보 행동을 생성하고 명시적 지지 그래프를 통해 이를 정당화하도록 요구하는 시각적 1인칭 비디오 벤치마크.
2. 근거 있는 합리성 메트릭: 광범위한 합리적 행동 공간을 회복하는 것과 하나의 잘 뒷받-되는 행동을 선택하는 것을 구분하며, 집합 수준 및 선택된 행동 수준의 메트릭을 사용한다.
3. 실증적 분석: (GPT-5.x, Gemini, Qwen, Grok 제품군을 포함한) 12개의 최첨단 VLM에 대한 포괄적인 벤치마킹을 통해 규범적 추론에서의 특정 실패 모드를 밝혀낸다.

결과

12개의 VLM을 벤치마킹한 결과, 현재의 모델들이 적절한 행동을 찾아내는 것은 가능할지라도, 근거 있는 합리성이라는 전체 과업을 수행하는 데는 지속적으로 어려움을 겪는다는 것이 드러났다:

• 성능 격차: 최첨단 모델들(GPT-5.2, GPT-5.1)은 가장 높은 점수($\text{Structured 프롬프팅 하에서 } R \approx 0.38$)를 달성하지만, 주석 참조 상한선(GPT-5.4는 $R \approx 0.558$에 도달)에는 여전히 크게 못 미친다.
• 구성 요소 분석: 사실적 근거가 일반적으로 가장 강한 구성 요소인 반면, 행동 정렬(전체 합리적 행동 공간의 회복)이 가장 취약한 구성 요소이다. 모델들은 장면을 올바르게 묘사하지만, 적절한 후보 다음 행동 세트를 구축하는 데는 실패한다.
• 프롬프트 효과: 구조적 프롬프팅은 고성능 모델(예: GPT-5.2, Gemini-3-Flash)에게 스캐폴딩을 제공함으로써 성능을 일반적으로 향상시키지만, 다른 모델들에게는 제약이 될 수 있다. 그러나 선택된 행동 수준에서는, 구조적 프롬프팅이 심사숙고형 프롬프팅에 비해 최종 결정과 그 국소적 근거를 일관되게 개선한다.
• 집합 vs 선택: 집합 수준의 합리성과 선택된 행동의 합리성 사이에는 강한 상관관계가 있지만, 이 둘은 별개의 능력이다. 하나의 타당한 행동을 선택하는 것이 전체 합리적 행동 공간을 회복하는 것보다 쉽다.

의의 및 한계

본 논문은 NORA가 평가 질문을 "모델이 행동을 선택할 수 있는가?"에서 "모델이 올바른 가시적 이유를 바탕으로 적절한 행동을 정당화할 수 있는가?"로 전환한다고 주장한다. 이는 현재의 VLM이 위치 기반 규범적 추론을 수행하는 능력에 있어 존재하는 측정 가능한 간극을 제공하며, 현재의 시스템들이 적절한 옵션 세트를 구축하고 이를 국소적 증거와 결합하는 능력이 부족함을 강조한다.

저자들이 인정한 한계점:

• 주석의 다원성: 인간의 주석은 필연적으로 합리적 행동 공간의 불완전한 샘플이며, 여러 유효한 해석이 존재할 수 있다.
• 비교적 점수 산정: 근거 있는 합리성 점수는 절대적인 규범적 역량의 척도라기보다 비교 진단을 목적으로 한다.
• 편향: 벤치마크는 소스 비디오 분포(Ego4D), 주석 작성자 풀, 그리고 사용된 특정 규범 범주로부터의 편향을 반영할 수 있다.

저자들은 NORA를 단순한 평가 프레임워크를 넘어, 사회적 환경에서 합리적으로 행동해야 하는 체화된 에이전트(embodied agents)를 위한 잠재적 학습 신호로 위치시키며, 현재의 최첨단 기술이 '아는 것과 행하는 것' 사이의 간극을 메우기 위해 개선할 여지가 상당히 많음을 강조한다.