기술 요약: OSCTOM – 고차원 마음 이론을 위한 RL 기반 적대적 생성

1. 문제 제기

대형 언어 모델 (LLM) 은 표준 언어 작업에서 숙련된 능력을 보이지만, 마음 이론 (ToM) 추론, 특히 재귀적 신념과 정보 비대칭이 포함된 복잡한 사회적 맥락에서는 일관되지 않은 성능을 보입니다. ExploreToM 과 같은 기존 벤치마크는 종종 관찰자가 자신의 내부 사실적 지식과 모순되는 신념을 다른 에이전트에게 귀속시키는 특정 인지 상태인 관찰자 - 자기 갈등 (Observer-Self Conflict) 을 적절히 테스트하지 못합니다.

현재의 한계는 다음과 같습니다:

• 정적 벤치마크: 초기 데이터셋 (예: ToMi) 은 모델이 진정한 신념 추적이 아닌 표면적 패턴 매칭을 통해 해결할 수 있는 수기로 작성된 단편 소설에 의존합니다.
• 검색 기반 생성의 한계: ExploreToM 과 같은 프레임워크는 도메인 특화 언어 (DSL) 를 사용한 휴리스틱 A* 검색을 활용합니다. 적대적 스토리 생성에는 효과적이지만, 이러한 방법들은 경직된 검색 공간에 제한을 받으며, 경험으로부터의 정책 적응이 부족하고, 중첩된 신념 갈등의 특정 구조적 복잡성보다는 정보량을 우선시하는 경향이 있습니다.
• 추론 격차: 모델들은 작업 구조가 약간만 변경되어도 실패하는 경우가 많아, 특히 다층적이고 재귀적인 시나리오 (예: 에이전트 A 가 에이전트 C 의 의도에 대한 에이전트 B 의 신념을 추론하는 경우) 에서 인과적 신념 상태에 대한 안정적인 내부 모델이 부족함을 나타냅니다.

2. 방법론

OSCToM 프레임워크는 고차원 적대적 ToM 시나리오를 생성하고 학습하기 위해 설계된 4 가지 구성 요소 파이프라인을 통해 이러한 격차를 해소합니다.

2.1 확장된 도메인 특화 언어 (OSCT-DSL)

저자들은 관찰자 - 자기 갈등을 형식화할 수 있는 기존 DSL 의 확장인 OSCT-DSL을 도입합니다.

• 형식주의: 에이전트에 대한 세계 상태 ($W$) 와 신념 상태 ($B$) 를 정의하며, 4 차원까지의 재귀적 신념을 지원합니다: $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$.
• 적대적 원시 연산자: 이 언어는 정보적 대칭성을 깨는 특정 연산자를 포함합니다:
  • 기만적 위치 표시: 에이전트가 위치에 대해 거짓말을 하여 다른 에이전트에게는 잘못된 신념을 형성시키면서 내부적으로는 정확한 지식을 유지합니다.
  • 비대칭적 관찰: 관찰된 당사자가 상호적인 지식을 얻지 못한 채 한 에이전트가 행동을 목격합니다.
  • 재귀적 기만 (이중 허위): 에이전트가 다른 에이전트를 조작하여 제 3 자에게 거짓말을 하게 함으로써, 1 차원적 거짓말 위에 3 차원적 신념을 중첩시킵니다.

2.2 구성적 대리 평가 파이프라인

강화 학습 (RL) 중 보상 계산을 위해 대형 LLM 을 사용하는 계산 비용을 극복하기 위해, 저자들은 구성적 대리 파이프라인을 활용합니다.

• 증류: Llama-3.3-70B 의 지식을 10,000 개의 주석 달린 스토리로 학습된 6 개의 경량 DistilBERT 모듈로 증류합니다.
• 6 가지 인지 차원: 보상은 단일 스칼라가 아닌 구체적인 점수로 분해됩니다:
  1. 거짓 신념 감지기: ToM 에 필수적인 이진 유효성 검사.
  2. ToM 깊이 분류기: 재귀적 차수 (1 차~4 차) 를 추정.
  3. 기만 점수판: 조작 연산자의 밀도.
  4. 사회적 복잡성 점수판: 에이전트 간 의사소통 빈도.
  5. 시간적 복잡성 점수판: 서로 다른 세계 상태 전이의 수.
  6. OSCT 감지기: 관찰자 - 자기 갈등 상태를 특별히 식별 (최고의 보상 가중치).
• 효율성: 이로 인해 스토리당 평가 시간이 LLM 쿼리의 약 14 초에서 50 밀리초 미만으로 단축되어 15,000 개의 샘플 코퍼스를 합성할 수 있게 되었습니다.

2.3 RL 기반 적대적 생성

스토리 생성 과정은 **마르코프 결정 과정 (MDP)**으로 모델링됩니다.

• 알고리즘 선택: 저자들은 A2C, PPO, **Deep Q-Networks (DQN)**을 비교했습니다. DSL 상태 공간 내에서 이산 심볼 전이를 학습하는 데 있어 뛰어난 안정성과 휴리스틱 검색이 놓칠 수 있는 ToM 실패 사례를 찾을 수 있는 능력으로 인해 DQN 이 선택되었습니다.
• 학습: DQN 에이전트는 OSCT 감지 (40%) 와 ToM 깊이 (30%) 에 가중치를 두는 복합 보상 함수 ($R$) 를 최적화합니다.
• 서사 강화: RL 에이전트가 생성한 심볼적 DSL 추적은 OpenRouter API 를 통해 Llama-3.3-70B 를 사용하여 자연스러운 산문으로 변환되며, 기만 체인과 비선형적 시간적 순서와 같은 인지 마커가 보존됩니다.

2.4 2 단계 커리큘럼 파인튜닝

생성된 데이터셋은 고차원 추론의 안정적인 학습을 보장하기 위해 단계별 커리큘럼을 사용하여 Llama-3.1-8B-Instruct를 파인튜닝하는 데 사용됩니다:

• 1 단계 (기초): 1 차 및 2 차 ToM 시나리오로 학습하여 모델이 기본적인 관점 수용에 기반을 두도록 합니다.
• 2 단계 (마스터): 3 차 및 4 차 재귀적 갈등을 포함한 전체 코퍼스로 학습하며, 1 단계 체크포인트에서 초기화됩니다.
• 기법: 모든 프로젝션 레이어에 대한 LoRA(랭크 16, 스케일링 인자 32) 를 통한 매개변수 효율적 파인튜닝 (PEFT) 으로 단일 GPU 에서 학습이 가능합니다.

3. 주요 결과

결과 모델인 OSCToM-8B는 Llama-3.1-8B, Mistral-NeMo-12B, Phi-3-Medium-14B, Qwen2.5 변형 등을 포함한 7 개의 베이스라인 시스템과 4 개의 벤치마크에 걸쳐 평가되었습니다.

• FANToM 벤치마크 (정보 비대칭): OSCToM-8B 는 **76.0%**의 정확도를 달성했습니다. 이는 동일한 벤치마크에서 **0.2%**의 정확도를 기록한 ExploreToM 베이스라인에 비해 압도적인 개선입니다.
• ToMi 벤치마크: OSCToM-8B 는 **79.5%**의 정확도를 달성하여 기본 Llama-3.1-8B(64.3%) 와 Qwen2.5-32B(74.7%) 와 같은 더 큰 모델을 능가했습니다.
• BigToM 벤치마크: 이 모델은 **89.8%**의 정확도에 도달하여 40 억 개의 파라미터가 적음에도 불구하고 Mistral-NeMo-12B(90.5%) 와 거의 일치했습니다.
• Hi-ToM 벤치마크: OSCToM-8B 는 **65.3%**를 기록하여 Phi-3-Medium-14B 와 일치하고 Gemma-2-27B(20.6%) 를 크게 능가했습니다.

추론 효율성:

• $O(N)$ 복잡성과 쿼리당 약 15.0 초의 지연 시간을 가진 반복적 A* 검색에 의존하는 ExploreToM 과 달리, OSCToM-8B 는 직접적인 신경 추론 ($O(1)$ 복잡성) 을 사용합니다.
• 측정된 지연 시간은 2.62 초로, 우수한 정확도를 유지하면서 응답 시간이 5.7 배 단축되었습니다.

4. 의의 및 주장

이 논문은 표적 적대적 데이터 합성과 커리큘럼 학습의 결합이 복잡한 사회적 추론 작업에서 더 작은 모델 (80 억 파라미터) 이 훨씬 더 큰 모델을 능가할 수 있음을 OSCToM 이 입증한다고 주장합니다.

• 관찰자 - 자기 갈등: 이 연구는 현재 ToM 평가의 특정 실패 모드를 식별하고 해결합니다. 즉, 관찰자의 내부 지식과 타인에 대한 신념 귀속을 구분하지 못하는 문제입니다.
• 효율성 대 규모: 이 프레임워크는 훈련 데이터가 재귀적 신념 갈등을 명시적으로 대상으로 하도록 구조화된다면 고차원 추론 능력이 반드시 거대한 파라미터 수를 필요로 하지 않는다는 것을 증명합니다.
• 실용성: 휴리스틱 검색을 RL 기반 생성과 대리 평가로 대체함으로써, 시스템은 데이터 합성에서 6 배의 효율성 향상과 추론 속도에서 5.7 배의 개선을 이루어 고차원 ToM 추론을 실용적으로 배포 가능하게 만들었습니다.

저자들은 현재 DSL 이 위치 및 기만 갈등에 초점을 맞추고 있지만, 이 프레임워크가 LLM 에서 더 일반화 가능한 사회적 지능을 향한 원칙적인 길을 제공하며, "추론 격차"는 단순히 모델 크기를 확장하는 것이 아니라 구조화된 적대적 학습을 통해 극복될 수 있음을 시사한다고 결론지었습니다.