From Propositional to Perceptual Asymmetry: Extending Frictive Policy Optimization to Asymmetric Partial Information Dialogue

기술 요약: 명제적 비대칭에서 지각적 비대칭으로

문제 정의
협력적 대화는 공통 기반(common ground)의 구축에 의존하며, 이 과정은 본질적으로 마찰(불일치, 오해, 수복)에 취약하다. 마찰적 정책 최적화(Friction Policy Optimization, FPO)는 이러한 마찰을 견고한 정렬을 위해 필수적인 인식론적 신호로 재정의하지만, 기존의 구현체(예: FAAF)는 명제적 비대칭(propositional asymmetry) 가정을 전제로 작동한다. 이 체제에서는 참여자들이 동일한 장면(perceptual context)을 공유하지만 서로 다른 믿음에 도달하는 상황을 다룬다.

본 논문은 참여자들이 비대칭적인 부분 정보(예: 서로 다른 지도 또는 관점)를 보유하는 지각적 비대칭(perceptual asymmetry) 상황에 FPO를 적용할 때 발생하는 한계를 식별한다. 이러한 설정에서는 동일한 표면적 표현이라 할지더라도, 누구의 정보 상태(information state)를 기준으로 참조하느냐에 따라 서로 다른 지시 대상(denotation)을 가질 수 있다. 핵심 문제는 공유된 지각적 맥락을 가정하는 표준 FPO 공식이, 상호작용 이력($h$)이 참여자별로 특화된 것($h^{(i)}$)이라는 사실을 설명하지 못한다는 점이다. 결과적으로, 전지적(omniscient) 관점에서의 마찰 평가는 결정적인 불일치를 놓치거나 이를 노이즈로 오분류할 위험이 있다.

방법론
저자들은 FPO를 **관점적 정식화(perspectival formulation)**로 확장하고, 교차 코퍼스 분석 및 대규모 언어 모델(LLM) 프로빙을 통해 이를 평가한다.

1. 이론적 확장:

   • 저자들은 **마찰 상태(frictive state)**를, 적어도 하나의 그럴듯한 응답에 대해 마찰 함수 $F^-(h^{(i)}, y) > 0$가 성립하는 구성으로 재정의하며, 이는 참여자의 사적인 정보 지평(private information horizon) $h^{(i)}$를 기준으로 평가된다.
   • $F^-$의 네 가지 인식론적 실패 모드(불확실성, 모순, 위험, 가치 갈등)를 역할별 진단으로 분해한다:
     • 화자(Giver): 주로 가치 갈등(생산적 미지정)과 불확실성(맥락 내 모호성)을 탐지한다.
     • 청자(Follower): 주로 모순(교차 관점 접지 갈등)과 위험(확신에 찬 잘못된 약속)을 탐지한다.
   • 이 정식화는 공통 기반을 전제 조건이 아니라, 지각적으로 분리된 증거들을 조정해 나가는 능동적인 구축 과정으로 취급한다.

2. 데이터셋:

   • HCRC MapTask: 주요 평가 대상이다. 저자들은 두 가지 주석 레이어를 활용한다: 기존의 NXT 대화 행위 태그와, 의도된 랜드마크와 해석된 랜드마크 간의 차이를 관점별로 주석 처리한 GMMT(Grounded Misunderstandings in MapTask) 데이터셋이다.
   • OneCommon: 다른 과업 구조(점 선택)에서 참조적 비대칭을 관찰하기 위한 이차적 교차 코퍼스 비교 대상으로 사용된다.

3. 실험 설계:

   • 코퍼스 분석: 랜드마크 불일치 유형(동일, 어휘적, 존재 여부, 다중성)을 GMMT의 대기 중인 하위 유형 및 정렬 궤적과 교차 분석한다.
   • LLM 프로빙: 세 가지 조건 하에서 세 가지 지시 튜닝된 LLM(GPT-5, Qwen3.6, Llama-4-Scout)을 테스트한다:
     • 전지적(Omniscient): 두 참여자의 지도를 모두 접근 가능함.
     • 화자 관점(Giver Perspective): 화자의 지도에만 접근 가능함.
     • 청자 관점(Follower Perspective): 청자의 지도에만 접근 가능함.
   • 수복 생산성 평가: "RepairScore" 메트릭을 사용하여 탐지된 마찰 상태가 대화 중에 실제로 수복된 불일치와 일치하는지 확인한다.

주요 기여

1. 관점적 마찰 상태: 화자는 프레임 내부의 모호성으로부터 마찰을 겪고, 청자는 교차 프레임 간의 갈등으로부터 마찰을 겪는다는 역할별 마찰 분해를 정식화하였다.
2. 관점에 구속된 평가의 실증적 검증: LLM 프로빙을 통해, 모델의 시야를 단일 참여자의 관점으로 제한하는 것이 전지적 접근보다 참조적 불일치 탐지 성능을 향상시킨다는 것을 입증하였다.
3. 주석 체계의 개선: 주석 체계에 대한 두 가지 구체적인 개선안을 제안한다:
   • 하위 유형 분해: 서로 다른 실패 모드를 포착하기 위해 대기 중인 하위 유형(예: 미접지 vs 양화적)을 구분한다.
   • 수용 인지적 정렬(Accommodation-Aware Alignment): 명시적 협상을 통해 달성된 정렬과 암묵적 수용을 통해 달성된 정렬을 구분한다.

결과

• 불일치 의존적 마찰: 마찰은 균일하지 않다. 서로 다른 불일치 유형은 질적으로 구별되는 접지 실패 프로파일을 생성한다. 다중성 불일치(한 지도에 랜드마크가 여러 번 나타나는 경우)는 불일치의 상당 부분을 유발하며(동일 랜드마크의 경우 0.2% 대비 12.0%의 발생률), 높은 비율의 미접지(ungromed) 대기 상태를 특징으로 한다.
• 궤적 분석: 다중성 체인은 높은 비율의 비단조적 상태 궤적(38.9%)을 보인다. 이는 국지적으로는 정렬이 이루어지는 듯 보이나, 후속 참조가 모호성을 재도입함에 따라 전역적으로 정렬이 붕괴되는 현상을 보여준다. 이는 성공적인 것처럼 보이지만 암묵적으로 괴리되는 궤적을 다루는 FPO의 위험(Hazard) 구성 요건을 뒷받침한다.
• LLM 프로빙 성능:
  • 관점의 우월성: 모든 모델에서 화자 관점 조건이 마찰 탐지에 있어 전지적 조건보다 유의미하게 우수한 성능을 보였다(F1 격차 +0.47 ~ +0.66).
  • 전지적 모델의 실패: 전지적 모델은 종종 불일치를 탐지하지 못하고, 교차 지도 간의 모순을 노이즈로 취급하거나 공유된 엔티티의 존재로 인해 "예(정렬됨)"라고 결론 내리는 경향이 있었다. 시야를 단일 관점으로 제한함으로써 구조적으로 유의미한 정보의 부분 집합을 드러낼 수 있었고, 이는 탐지 성능을 높였다.
  • 수복 생산성: 관점적 정식화는 테스트 세트의 13개 골드 스탠다드 수복 이벤트를 모두 식별해 낸 반면, 전지적 베이스라인은 여러 건을 놓쳤다. 이는 관점적 신호가 단순히 탐지 가능한 수준을 넘어 **수복 생산적(repair-productive)**임을 확인시켜 준다.
• 수용 vs 협상: 암묵적 수용(마찰 없이 해석을 전환하는 것)은 매우 드물었다(정렬된 RE의 0.2%). 지배적인 패턴은 협상된 정렬이었으며, 이는 참여자들이 해석이 바뀔 때 마찰을 효과적으로 활용함을 시사한다. 그러나 병목 현상은 대화 체인 전체에서 재발하는 구조적 모호성을 추적하는 데 있다.

의의 및 주장
본 논문은 협력적 대화가 단순히 더 큰 컨텍스트 윈도우나 더 강력한 모델로 해결될 수 있는 "공유 맥락 문제"가 아니라고 주장한다. 대신, 에이전트들이 사적인 정보를 바탕으로 협력할 때, 마찰은 각자의 정보 지평 사이의 간극에 존재한다.

저자들은 더 많은 맥락이 오히려 신호를 가릴 수 있음을 역설한다. 두 참여자의 관점에 모두 접근하는 것(전지적 관점)은 비대칭적 지식을 과소평가하게 만들고 결정적인 불일치를 놓치게 할 수 있다. 단일 관점에서 추론하는 "더 작은" 관점적 모델이 전지적 프런티어 모델보다 불일치 탐지 및 수복에서 더 우수한 성능을 보인다.

본 연구는 FPO의 마찰 함수가 각 참여자의 정보 지평 내부에서 평가될 때에만 경험적으로 유효하다는 것을 입립한다. 이는 불일치를 커버리지(coverage)의 문제로 보는 에이전트 설계의 기본 가정에 도전하며, 효과적인 정렬을 위해서는 모든 관점을 동시에 조망하는 것이 아니라 특정 관점으로부터 추론해야 함을 제안한다. 결론적으로, 멀티 에이전트 시스템과 인간-AI 팀 구성에 있어 마찰을 인지하는 시스템은 반드시 특정하고 사적인 정보 상태로부터 추론하도록 설계되어야 한다.