기술 요약: 대규모 언어 모델의 상호작로적 추론 평가

문제 정의

현재 대규모 언어 모델(LLM)의 추론 평가는 주로 모델에게 완전히 명시된 문제를 제시하고 단판 승부식(single-shot) 답변을 요구하는 정적인 방식에 치중되어 있다. 이러한 패러다임은 정보를 능동적으로 획득하고 신념을 업데이트하는 과정으로서의 추론을 평가하는 데 실패한다. 또한, 정적인 벤치마크는 두 가지 별개의 실패 모드인 지식 결핍(필요한 사실의 부재)과 추론 결핍(가용 정보를 올바르게 활용하지 못함)을 혼동하는 경우가 많다. 기존의 다회차(multi-turn) 벤치마크들은 추론을 세상 지식, 대화 기술 또는 지시 이행과 혼합하는 경우가 많으며, 특정 추론 능력을 분리해낼 수 있는 규모나 구조적 다양성이 부족한 경우가 빈번하다. 따라서 추론을 부분 관측 가능성(partial observability) 하에서의 순차적 증거 획득으로 취급하고, 추론을 사실적 회상으로부터 격리하며, 강건성 및 메타인지와 같은 고차원적 능력을 조사할 수 있는 프레임워크가 필요하다.

방법론

저자들은 상호작로적 추론 평가를 위한 계층적 프레임워크를 제안하며, 이를 474개의 실행 가능한 게임 벤치마크로 구현하였다.

1. 상호작로적 추론 백본(Backbone)

프레임워크의 핵심은 추론을 부분 관측 가능성 하에서의 상태 탐색 문제로 공식화하는 것이다.

• 설정: LLM은 오직 작업 규칙과 숨겨진 환경 상태만을 전달받는다. 모델은 부분적인 증거를 수집하기 위해 표적화된 질의를 반복적으로 수행해야 하며, 이를 통해 자신의 신념을 업데이트하고 최종 답변을 제출할 시점을 결정해야 한다.
• 구조: 게임은 실세계 지식에 대한 의존도를 피하기 위해 최소한의 구조적 프리미티브(primitives)로부터 구축된다. 이는 네 가지 정형 데이터 구조(집합, 시퀀스, 트리, 그래프)와 세 가지 추론 모드(연역, 귀납, 가추)를 포괄한다.
• 프로토콜: 상호작용은 신뢰할 수 있는 파싱을 보장하기 위해 구조화된 액션 형식(예: <submit>answer</submit>)을 따른다. 환경은 질의에 응답하거나 제출된 답변을 평가한다.
• 난이도: 각 게임은 잠재적 탐색 공간의 크기(예: 집합의 기수, 트리의 깊이)에 따라 정의된 5개의 난이도 수준에 대응하는 5개의 고정된 구성 탐색 공간 하에서 평가된다.

2. 고차원 평가 레이어

기본적인 상호작로적 탐색을 넘어, 프레임워크는 고급 능력을 조사하기 위해 두 가지 레이어를 도입한다.

• 맥락적 강건성(Contextual Robustness): 다음 상황에서도 추론이 유지되는지 테스트한다:
  • 동형 변형(Isomorphic Perturbation): 근저의 논리는 유지하되 표면 형식을 바꾸는 의미론적 강화 변체(예: 그래프 노드를 환자로 변경).
  • 게임 내 노이즈 주입(Intra-game Noise Injection): 규칙이나 응답에 무관한 텍text를 추가.
  • 게임 간 경계 제어(Inter-game Boundary Control): 상호작용 기록을 초기화하지 않고 새로운 게임을 도입하여 문맥 전환 테스트.
• 메타인지적 적응(Metacognitive Adaptation): 내부 추론 상태를 관리하는 모델의 능력을 테스트한다:
  • 반사실적 수정(Counterfactual Revision): 환경이 게임 중간에 이전의 관찰 내용을 수정하면, 모델은 신념을 업데이트하고 탐색 전략을 수정해야 한다.
  • 필요성 판단(Necessity Judgment): 모델에게 전체 증거를 주고 문제를 해결하게 한 뒤, 최소한의 지지 집합을 형성하기 위해 중복된 관찰을 식별하고 제거하도록 요청한다.

3. 벤치마크 구축

벤치마크는 474개의 게임(난이도 수준별 총 2,370개 인스턴스)으로 구성된다. 품질과 확장성을 보장하기 위해 저자들은 하이브리드 인간-LLM 구축 전략을 채택했다:

• 규칙 생성: 프런티어 모델들이 숨겨진 상태, 질의 유형 및 해결 가능성에 관한 엄격한 제약 조건 하에서 후보 규칙들을 생성했다.
• 프로그램 생성: 템플릿화된 인터페이스를 사용하여 실행 가능한 환경을 생성하였으며, LLM은 게임 특유의 로직만을 구현하도록 하였다.
• 필터링: 모델의 예비 성능을 기반으로 너무 쉽거나(성공률 >90%), 너무 어렵거나(성공률 <10%), 혹은 모호한 게임들을 제거하기 위해 게임을 필터링했다. 이후 수동 검토를 통해 세트를 더욱 정교화했다.

주요 결과

저자들은 다양한 프런티어 모델(Qwen3-max, Deepseek-3.2, Claude-4.5, GPT-5.4 및 다양한 Gemini 버전 포함)을 이 벤치마크로 평가했다.

• 변별력: 벤치마크는 모델들을 효과적으로 차별화한다. 성공률은 약 43%에서 74% 사이였다. Gemini-3.1-pro가 가장 높은 성공률(74.21%)과 효율성을 달성했으며, Claude-4.5는 유사한 정확도를 보였으나 거의 두 배에 달하는 턴(turn)이 필요하여 상호작용 효율성이 낮음을 나타냈다.
• 추론 체제(Reasoning Regimes):
  • 연역적 추론은 모든 모델에게 일관되게 가장 쉬운 과제로 나타났는데, 이는 학습 데이터의 강조 때문으로 보인다.
  • 가추적 추론과 집합 기반 과제가 가장 어려웠으며, 집합은 명시적인 구조적 단서가 부족하여 트리나 그래프보다 더 어려운 것으로 증명되었다.
• 맥락적 강건성:
  • 동형 변형: 성능의 완만한 그러나 일관된 하락을 유발했다(예: Gemini-3.1-pro의 경우 약 5-6% 하락). 이는 의미론적 변화 하에서 추상적 추론을 유지하는 데 어려움이 있음을 나타낸다.
  • 노이즈 주입: 일관되게 성능을 감소시켰으며, 이는 모델이 활성 증거를 추적하면서 동시에 무관한 콘텐츠를 필터링하는 데 어려움을 겪고 있음을 시사한다.
  • 경계 제어: 놀랍게도, 이력을 리셋하지 않고 새로운 게임을 도입했을 때 성능이 안정적이거나 약간 향상되었다. 이는 모델이 작업 경계를 인식할 수 있음을 시사한다.
• 메타인지적 적응:
  • 반사실적 수정: 상당한 성능 저하를 일으켰다(예: Gemini-3.1-pro의 경우 74.21%에서 57.56%로 하락). 이는 증거가 변경될 때 내부 추론 상태를 업데이트하는 데 있어 질적인 약점을 드러낸다.
  • 필요성 판단: 모델들은 흔히 많은 비율의 관찰 내용(62~83%)을 제거했지만, 가지치기(pruning) 후에도 정답을 보존하는 데 실패했다. 가지치기 후 성공률이 급락했다(예: Gemini-3.1-pro의 경우 70.76%에서 48.87%로 하락). 이는 모델이 증거가 존재할 때 그것을 사용하는 것보다 필수적인 증거를 식별하는 데 더 서투르다는 것을 나타낸다.
• 실패 모드: 지배적인 실패 모드는 타임아웃이 아닌 FormatError(구조화된 프로토콜 준수 실패)였으며, 이는 여러 턴에 걸쳐 프로토콜 준수를 유지하는 것의 어려움을 강조한다.

의의 및 주장

본 논문은 LLM 추론을 평가하기 위한 오염 저항성이 있고 진단적으로 풍부한 프레임워크를 제공한다고 주장한다. 추론을 능동적인 증거 획득으로 취급함으로써, 이 벤치마크는 추론 결핍을 지식 결핍으로부터 격리한다.

저자들은 현재의 프런티어 모델들이 유의미한 상호작로적 추론 능력을 보여주기는 하지만, 다음 측면에서 현저히 약함을 주장한다:

1. 강건성: 의미론적 섭동 및 노이즈 하에서의 성능 유지.
2. 신념 수정: 이전 증거가 수정될 때의 업데이트 능력.
3. 증거 속성: 충분한 정보와 필수적인 정보를 구분하는 능력.

이 연구는 현재의 모델들이 고정된 증거 하에서 문제를 해결하는 데는 능숙하지만, 왜 정답이 옳은지에 대한 '수정 가능한 설명'을 유지하는 데는 훨씬 더 약하다는 점을 시사한다. 저자들은 이 벤치마크를 추론 진단, 학습 시 개입, 그리고 상호작로적 강화 학습을 위한 미래 연구의 도구로 위치시키며, 실행 가능한 환경의 특성상 명시적인 상호작로 프로토콜이 가능하다는 점을 언급한다.

논문은 고정된 구성 공간이 실제 세계의 추론 과제가 갖는 연속성을 완전히 포착하지 못할 수 있다는 점과, 구조화된 XML 기반 액션 형말로 인해 상호작용 역학이 지나치게 단순화될 수 있다는 점을 포함한 한계점을 겸허히 인정한다.