💬 NLP

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

이 논문은 대규모 언어 모델이 장기적이고 능동적이며 귀납적인 상호작용을 수행하는 능력을 평가하기 위해 설계된 120개의 표준화된 과업과 극한의 스트레스 테스트로 구성된 새로운 벤치마크인 OdysseyArena를 소개하며, 이를 통해 최첨단 모델들조차 복잡한 환경에서 잠재적인 전이 법칙을 자율적으로 발견하는 데 어려움을 겪는다는 점을 밝혀낸다.

원저자: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Li

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 새로운, 복잡한 보드게임을 가르치고 있다고 상상해 보세요.

옛날 방식 (연역적 방법):
현재 대부분의 AI 테스트는 로봇에게 게임을 시작하기 전에 규칙 설명서를 주는 것과 같습니다. 당신은 이렇게 말합니다. "규칙은 이래: 만약 빨간색 칸에 도착하면 뒤로 두 칸 가. 주사위에서 6이 나오면 앞으로 가." 로봇은 그저 명시적인 지침을 따를 뿐입니다. 이는 명령을 따르는 데는 뛰어나지만, 규칙이 왜 존재하는지, 혹은 규칙 설명서가 없을 때 어떻게 규칙을 찾아내야 하는지는 정말로 이해하지 못합니다.

새로운 방식 (귀납적 방법):
ODYSSEYARENA 논문은 진정한 현실 세계의 지능이란 규칙을 따르는 것이 아니라, 게임을 플레이하면서 규칙을 '발견'하는 것이라고 주장합니다. 로봇에게 보드게임은 건네주되, 규칙 설명서는 숨긴 채로 준다고 상상해 보세요. 로봇은 스스로 움직여 보고, 어떤 일이 일어나는지 관찰하고, 혼란을 겪고, 다시 시도하며, 숨겨진 논리를 스스로 천천히 파악해 나가야 합니다. 이것을 "귀납적 추론"이라고 부릅니다.

문제점

연구진은 오늘날의 가장 똑똑한 AI 모델들조차 이 작업에 매우 서투르다는 것을 발견했습니다. 그들은 지침을 따르는 것(연역)에는 능숙하지만, 규칙이 숨겨져 있을 때 경험으로부터 배우는 것(귀납)에는 어려움을 겪습니다. 그들은 루프(반복되는 오류)에 빠지거나, 배운 것을 잊어버리거나, 게임이 길고 복잡해지면 포기해 버립니다.

해결책: ODYSSEYARENA

이를 테스트하기 위해 연구팀은 ODYSSEYARENA라는 새로운 "체육관(gym)"을 구축했습니다. 짧고 단순한 과제 대신, AI가 탐정이 되도록 강요하는 네 가지 서로 다른 "게임"을 만들었습니다. 이 게임들은 AI가 적극적으로 탐색하도록 설계되었으며, 호흡이 깁니다(수백 단계).

다음은 네 가지 게임을 쉬운 비유로 설명한 것입니다:

불 켜기 (논리 퍼즐):
- 설정: 전구 벽이 있습니다. 어떤 것은 켜져 있고, 어떤 것은 꺼져 있습니다. 스위치를 누를 수 있지만, 배선이 어떻게 되어 있는지는 모릅니다.
- 도전 과제: 스위치 하나를 누르면 전구가 켜질 수도 있지만, 숨겨진 연결 때문에 실수로 다른 전구 세 개를 끌 수도 있습니다. AI는 시행착오를 통해 스위치를 누르고, 결과를 관찰하며, 비밀 배선도를 알아내야 합니다.
- 비유: 매뉴얼 없이 크리스마스 전구를 고치려고 애쓰는 것과 같습니다. 어떤 전구가 다른 전구에 영향을 주는지 추측해야 하는 상황입니다.
AI 트레이딩 (주식 시장):
- 설정: AI는 주식 포트폴리오를 가진 트레이더입니다. 매일 시장은 AI가 직접 볼 수 없는 숨겨진 "요인들"(예: 날씨나 뉴스)에 따라 움직이며, AI는 오직 힌트만을 얻을 수 있습니다.
- 도전 과제: AI는 주가와 뉴스를 관찰하고, 이들을 연결하는 숨겨진 수학적 관계를 추측하며, 돈을 벌기 위해 미래를 예측해야 합니다.
- 비유: 하늘을 직접 보는 대신, 사람들이 옷을 어떻게 입었는지만 보고 날씨를 예측하려는 것과 같습니다. "코트를 입은 사람들"과 "비" 사이의 패턴을 찾아내야 합니다.
에너지 디스패치 (전력망):
- 설정: AI는 발전소 관리자입니다. 도시가 계속 돌아갈 수 있도록 태양광, 풍력, 석탄 에너지를 조절해야 합니다.
- 도전 과제: 태양과 바람은 예측 불가능하며 숨겨진 주기(예: 계절)를 따릅니다. 만약 AI가 사흘 연속으로 실수를 하면 전력망 전체가 붕괴됩니다. AI는 불을 밝히기 위해 자연의 숨겨진 리듬을 배워야 합니다.
- 비유: 바람의 방향이 매 시간 바뀌는 폭풍우 치는 밤에 캠프파이어를 완벽하게 유지하려고 노력하는 것과 같습니다. 당신은 그 변화의 패턴을 추측해야 합니다.
Repo 시스템 (소프트웨어 해결사):
- 설정: AI는 소프트웨어 패키지를 설치하려는 컴퓨터 프로그래머입니다.
- 도전 과제: 소프트웨어 하나를 설치하면 숨겨진 버전 충돌 때문에 다른 소프트웨어가 고장 날 수 있습니다. AI는 설치하고, 테스트하고, 고장 내고, 고치고, 다시 설치하는 과정을 통해, 서로 다른 프로그램들 사이의 보이지 않는 의존성 웹을 천천히 그려나가야 합니다.
- 비유: 새 문을 사는 것이 어제 세워둔 벽을 무너뜨릴 수도 있는 집을 짓는 것과 같습니다. 당신은 진행하면서 청사진을 파악해야 합니다.

연구 결과

연구진은 세계에서 가장 똑똑한 15개 이상의 AI 모델(최고의 상용 및 오픈 소스 모델 포함)을 이 게임들로 테스트했습니다.

결과: 최고의 모델들도 긴 호흡의 과제에서는 처참하게 실패했습니다. 그들은 루프에 빠지거나(같은 실수를 반복함), 이전에 배웠던 것을 잊어버리거나, 숨겨진 규칙을 파악하지 못했습니다.
격차: 만약 연구진이 모델들에게 규칙을 미리 알려준다면, 모델들은 아주 잘 해냅니다. 하지만 스스로 규칙을 '발견'해야 할 때는 성능이 거의 0에 가깝게 떨어졌습니다.
결론: 현재의 AI는 교과서를 암기하는 데는 탁월하지만, 책 없이 문제를 풀어보라고 하면 완전히 무너지는 학생과 같습니다. 진정한 자율형 에이전트를 만드는 가장 큰 병목 현상은 AI를 더 크게 만들거나 더 빠르게 만드는 것이 아니라, 자신의 실수를 통해 배우고 세상의 숨겨진 패턴을 발견하는 법을 가르치는 것입니다.

요약하자면, ODYSSEYARENA는 AI에게 "명령을 따를 수 있는가?"라고 묻는 대신, "스스로 세상이 어떻게 돌아가는지 알아낼 수 있는가?"라고 묻는 새로운 방식의 테스트입니다. 현재까지의 대답은 "그다지 그렇지 않다"입니다.

기술 요약: ODYSSEYARENA

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트 평가는 주로 **연역적 패러다임(deductive paradigm)**에 의존하고 있습니다. 이러한 설정에서 에이전트는 명시적인 규칙, 정적인 목표, 그리고 종종 골드 스탠다드 지침이나 상세한 API 문서가 제공됩니다. 이러한 방식은 지침 준수 및 단기 계획 능력을 평가하는 데는 효과적이지만, 에이전트가 경험을 통해 잠재적인 전이 법칙(transition laws)을 자율적으로 발견해야 하는 **귀납적 필요성(inductive necessity)**을 간과합니다. 실제 환경 배포를 위해서는 에이전트가 사전에 지정된 규칙 없이도 환경을 능동적으로 탐색하고, 피드백에 반응하며, 자기 개선을 통해 행동을 반복적으로 조정할 수 있어야 합니다. 또한, 기존 벤치마크는 상호작용 범위를 50단계 미만으로 제한하는 경우가 많아, 오류 누적의 문제와 수천 단계에 걸친 전략적 일관성의 필요성을 포착하지 못합니다. 에이전트가 실시간 상호작용 경험으로부터 숨겨진 규칙과 전이 역학을 추론하는 능력을 평가하는 데 있어 심각한 공백이 존재합니다.

방법론

이러한 격차를 해소하기 위해, 저자들은 장기적(long-horizon), 능동적(active), 그리고 귀납적(inductive) 상호작용에 중심을 둔 에이전트 평가를 위해 설계된 일련의 상호작용 환경인 ODYSSEYARENA를 소개합니다.

이론적 프레임워크

저자들은 상호작용 환경을 생성적 상태 전이 함수(generative state transition functions)로 정형화합니다: $(s_{t+1}, r_t) = T(s_t, a_t)$ , 여기서 $s_t$ 는 잠재 상태(latent state)이고 $a_t$ 는 에이전트의 행동입니다. 전이 함수 $T$ 는 환경 규칙을 암묵적으로 인코딩합니다. 에이전트는 전략적 상호작용을 통해 $T$ 의 기능적 형태를 유도(induce)해야 합니다. 저자들은 환경 역학을 네 가지 직교하는 구조적 프리미티브(structural primitives)로 분해합니다:

이산적 기호 규칙(Discrete Symbolic Rules): 잠재적인 인과 관계의 발견을 요구하는 $N$ 개 비트에 대한 불리언 논리(Boolean logic).
연속적 확률 역학(Continuous Stochastic Dynamics): 노이즈에 의해 가려진 잠재 요인에 의해 지배되는 연속적 상태 공간에서의 진화, 통계적 추론을 요구함.
주기적 시간 패턴(Periodic Temporal Patterns): 다중 목적 최적화를 위해 장기적 시간 의존성을 식별해야 하는 순환적 규칙성.
관계형 그래프 구조(Relational Graph Structures): 숨겨진 그래프 $G$ 에 의해 정의되는 비국소적 상호작용, 위상적 제약 조건에 대한 관계적 추론을 요구함.

환경 인스턴스화

이러한 프리미티브들은 네 가지 다양한 환경으로 구체화됩니다 (그림 2):

전등 켜기(Turn On Lights): 이산적 기호 규칙을 인스턴스화합니다. 에이전트는 상호 의존적인 전등들을 조작하여 목표 구성에 도달해야 합니다. 숨겨진 불리언 결합(Boolean couplings)이 상태 변화를 결정하며, 논리적 네트워크를 추론하기 위한 능동적 탐색이 필요합니다.
AI 트레이딩(AI Trading): 연속적 확률 역학을 인스턴스화합니다. 에이전트는 잠재 시장 요인( $z_t$ )과 숨겨진 의존성 행렬( $W$ )에 의해 가격 전이가 발생하는 다중 자산 포트폴리오를 관리합니다. 성공을 위해서는 장기 트레이딩 전략을 실행하기 위해 신호와 노이즈를 분리해야 합니다.
에너지 디스패치(Energy Dispatch): 주기적 시간 패턴을 인스턴스화합니다. 에이전트는 예산 및 수요 제약 조건 하에서 열, 풍력, 태양광 및 배터리 자원을 할당합니다. 시스템은 재생 에너지에 대한 숨겨진 시변 효율 사이클을 특징으로 하며, 시스템 붕괴를 피하기 위해 에이전트가 주기적 변동을 예측할 것을 요구합니다.
레포 시스템(Repo System): 관계형 그래프 구조를 인스턴스화합니다. 에이전트는 패키지를 설치하거나 삭제함으로써 파이썬 프로젝트를 구성합니다. 이 환경은 행동이 비단조적 부수 효과(예: 자동 업그레이드/다운그레이드)를 유발하는 숨겨진 의존성 그래프를 포함하고 있어, 체계적인 진단과 관계적 추론을 요구합니다.

벤치마크 프로토콜

저자들은 두 가지 표준화된 벤치마킹 스위트를 구축합니다:

ODYSSEYARENA-LITE: 효율적인 평가를 위해 최적화된 120개의 큐레이션된 작업(환경당 30개) 세트입니다. 상호작용 범위는 계산적으로 실행 가능하지만(예: 120~200단계), 장기 계획과 능동적 유도를 필요로 하기에는 충분합니다.
ODYSSEYARENA-CHALLENGE: 극단적인 범위에서의 에이전트 지속성, 추론 안정성, 전략 유지 능력을 테스트하기 위해 설계된, 작업당 1,000단계 이상의 스트레스 테스트 세트입니다.

재현성과 공정한 비교를 보장하기 위해, 모든 확률적 요소(예: 시장 요인, 효율 곡선)는 작업 메타데이터 내에 고정된 시퀀스로 미리 결정되어, 런타임 무작위성은 제거하면서도 귀납적 도전 과제는 유지합니다.

주요 기여

새로운 평가 패러다임: 본 논문은 연역적 지침 준수에서 **자율적 발견(autonomous discovery)**으로의 전환을 제안하며, 장기적이고 능동적인 상호작용을 통한 잠재적 세계 역학의 귀납적 추출에 초점을 맞춥니다.
신뢰할 수 있고 확장 가능한 벤치마크: 귀납적 패러다임을 ODYSSEYARENA로 구현하여, 효율적인 평가를 위한 표준 스위트인 ODYSSEYARENA-LITE와 스트레스 테스트를 위한 ODYSSEYARENA-CHALLENGE를 제공합니다.
광범한 평가 및 통찰: 15개 이상의 선도적인 LLM(독점 모델 및 오픈 소스 모델)을 종합적으로 평가하여, **귀납적 병목 현상(inductive bottleneck)**이 자율적 발견의 근본적인 장벽임을 규명했습니다.

실험 결과

저자들은 Gemini 3 Pro Preview, GPT-5, DeepSeek-V3.2, 그리고 다양한 Llama 및 Qwen 시리즈 모델을 포함한 15개 이상의 모델을 평가했습니다.

성능 격차: 최첨단 상용 모델(예: Gemini 3 Pro Preview)조차 ODYSSEYARENA-LITE에서 최대 **44.17%**의 성공률을 기록하며, 인간의 성능(Turn On Lights에서 81.67%, Repo System에서 100% 달성)에 크게 못 미쳤습니다.
귀납적 vs 연역적: 핵심적인 발견은 연역적 능력과 귀납적 능력 사이의 비대칭성입니다. 명시적인 규칙이 제공되었을 때(the "w/ rules" 설정), 모델들은 거의 완벽한 성공(예: Turn On Lights에서 100%)을 달성했습니다. 그러나 이러한 규칙 없이 성능이 급격히 떨어졌으며, 이는 주요 병목이 작업 로직의 복잡성이 아니라 세계 역학의 발견임을 확인시켜 줍니다.
실패 모드: 실패 궤적 분석(표 3)에 따르면, 가장 빈번한 문제는 탐색의 한계(Exploration Limitations)(실패의 80.85%)로, 에이전트가 체계적인 가설 검증 없이 지역 최적점(local optima)에 수렴하는 현상입니다. 또한 메모리 제약(Memory Constraints)(57.45%) 문제도 나타났는데, 이는 에이전트가 긴 히스토리에서 핵심 증거를 검색하지 못하는 경우입니다. **계획 능력 부족(Planning Inability)**은 드문 것으로 나타났습니다(4.26%).
확장 한계: 더 큰 모델이 일반적으로 작은 모델보다 우수한 성능을 보이지만, 주기적 패턴을 합성해야 하는 작업(Energy Dispatch)에서의 보편적인 실패는, 규모의 확대만으로는 견고한 세계 구조 모델링을 위한 귀납적 병목을 극복하기에 불충분함을 시사합니다.
장기적 포화: 성공률 곡선은 종종 조기에 정체되는데, 이는 일관된 내부 세계 모델이 결여된 모델에게는 확장된 상호작용 예산이 미미한 한계 이익만을 제공함을 의미합니다.

의의

본 논문은 ODYSSEYARENA가 복잡한 환경에서의 자율적 발견을 추구하는 데 있어 결정적인 병목 현상을 식별한다고 주장합니다. 결과는 현재의 LLM이 연역적 준수에는 뛰어나지만, 경험으로부터 잠재적 전이 법칙을 자율적으로 합성하는 귀납적 능력은 부족하다는 것을 보여줍니다. 이 연구는 더 발전된 에이전트 지능을 향한 미래 연구가 단순한 규칙 준수를 넘어, 가공되지 않은 경험으로부터 잠재적 전이 법칙을 추출할 수 있는 아키텍처를 우선시해야 한다고 역설합니다. 이 벤치마크는 정적이고 단기적이며 연역적인 평가의 한계를 넘어, 이러한 능력을 평가하고 개선하기 위한 엄격한 프레임워크를 제공합니다.

문제점