기술 요약: Agentick: 일반 순차적 의사결정 에이전트를 위한 통합 벤치마크

문제 제기

자율 에이전트 연구는 처음부터 학습하는 심층 강화학습 (RL) 에이전트부터 사전 훈련된 세계 지식을 활용하는 파운데이션 모델 (FM) 에이전트 (LLM 및 VLM) 에 이르기까지 광범위한 스펙트럼을 포괄합니다. 이러한 다양성에도 불구하고, 이러한 패러다임 간 공정한 비교를 가능하게 하는 통합 벤치마크는 존재하지 않습니다. 기존 벤치마크는 주로 특정 에이전트 유형 (예: RL 을 위한 픽셀 기반 환경 또는 LLM 을 위한 텍스트 기반 게임) 에 맞춰 설계되어 상호작용 기반 학습과 사전 훈련된 지식의 결합이 완전한 능력을 갖춘 에이전트 구축에 필요한지 여부를 평가하는 것이 불가능합니다. furthermore, 현재 벤치마크는 종종 훈련을 지원할 인프라가 부족하거나, 능력을 특정 차원으로 분해하지 못하거나, 아키텍처 편향을 방지하는 표준화된 관찰 모달리티를 제공하지 못합니다.

방법론: Agentick 벤치마크

저자들은 RL, LLM, VLM, 하이브리드 및 인간 에이전트 전체 에이전트 설계 스펙트럼에 걸쳐 공정한 평가를 지원하도록 처음부터 설계된 Agentick 벤치마크를 제시합니다. 이 벤치마크는 다음 네 가지 지침 원칙에 기반합니다:

1. 패러다임 보편성: 모든 작업은 다섯 가지 동기화된 관찰 모달리티를 동시에 노출합니다:

   • ASCII 텍스트 그리드 (LLM 용).
   • 자연어 설명.
   • 구조화된 사전.
   • 512×512 등각 픽셀 렌더링 (VLM 및 CNN 기반 RL 용).
   • 원시 numpy 상태 배열 (프로그래밍 에이전트 용).
     이를 통해 입력 형식으로 인해 어떤 에이전트 유형도 불이익을 받지 않도록 보장합니다.

2. 능력 분해: 단일 집계 점수 대신 평가는 여섯 가지 능력 카테고리로 분해됩니다:

   • 탐색 (8 개 작업)
   • 계획 (9 개 작업)
   • 추론 (8 개 작업)
   • 기억 (4 개 작업)
   • 일반화 (3 개 작업)
   • 다중 에이전트 조정 (5 개 작업)
     이를 통해 특정 강점과 약점을 식별할 수 있는 "레이더 차트" 프로파일링이 가능해집니다.

3. 훈련 우선 설계: 이 벤치마크에는 프로그래밍 작업 상호작용을 위한 코딩 API, 모든 37 개 작업에 대한 오라클 참조 정책, 그리고 HuggingFace 에서 제공되는 사전 구축된 지도 미세 조정 (SFT) 데이터셋(120k~500k 오라클 에피소드) 이 포함됩니다. 환경은 병렬 RL 훈련을 위해 벡터화 가능합니다.

4. 제어된 난이도: 작업은 네 가지 난이도 수준(쉬움에서 전문가까지) 을 특징으로 하며, 시드마다 고유한 레이아웃을 보장하도록 절차적으로 생성되어 그리드 크기, 제약 조건의 복잡성, 에피소드 길이를 확장합니다.

평가 지표: 주요 지표는 **오라클 정규화 점수 (ONS)**입니다:
$$ONS = \frac{\text{agent\_return} - \text{random\_baseline}}{\text{oracle\_return} - \text{random\_baseline}}$$
이는 무작위 기준선과 강력한 참조 정책 (오라클) 에 대한 성능을 정규화하여 작업 간 비교를 가능하게 합니다.

실험 설정: 저자들은 37 개 작업, 4 개 난이도 수준, 작업 - 난이도 쌍당 25 개의 시드 (총 90,000 개 이상의 에피소드) 에 걸쳐 27 가지 구성을 평가했습니다. 평가된 에이전트에는 다음이 포함됩니다:

• 최첨단 LLM: GPT-5 mini, Gemini 3.1 Flash Lite, Claude Haiku 4.5.
• 처음부터 훈련된 RL: 밀집 및 희소 보상으로 훈련된 PPO 에이전트.
• 오픈 가중치 LLM: 0.8B 에서 4B 파라미터까지의 Qwen3 및 Qwen3.5 모델.
• 하네스: 에이전트는 체인 - 오브 - 씽킹 추론을 요청하는 "마르코프 추론자" 하네스를 포함한 다양한 추론 전략으로 테스트되었습니다.

주요 결과

평가 결과 어떤 단일 패러다임도 모든 능력에서 우세하지 않음이 드러났습니다:

• 전반적 성능: GPT-5 mini 가 가장 높은 전체 ONS(0.309) 를 달성했으며, 처음부터 훈련된 PPO(0.287) 가 그 뒤를 이었습니다. 그러나 최상의 에이전트조차 오라클 성능의 3 분의 1 미만에 도달하여 상당한 개선 여지가 있음을 시사합니다.
• 능력 특화:
  • GPT-5 mini는 사전 훈련된 지식을 활용하여 탐색(0.456) 과 일반화(0.437) 에서 탁월한 성과를 보였습니다.
  • PPO는 상호작용을 통해 학습된 정밀하고 반복 가능한 제어가 중요한 계획(0.402) 과 다중 에이전트(0.432) 작업에서 우위를 점했습니다.
  • 추론 작업은 모든 에이전트에게 가장 약한 카테고리로 남았으며, 최상위 점수 (PPO) 가 불과 0.191 에 불과했습니다.
• 하네스 설계의 영향: 프롬프트 전략의 선택은 모델 규모만큼이나 중요했습니다. Reasoner 하네스(체인 - 오브 - 씽킹) 는 테스트된 모든 모델에서 LLM 성능을 3~10 배 증가시켰습니다. 예를 들어, Qwen3.5-4B 는 표준 마르코프 하네스에서 Reasoner 하네스로 전환했을 때 ONS 가 0.023 에서 0.228 로 급증했습니다.
• 관찰 모달리티: ASCII 관찰은 LLM 에이전트에게 자연어보다 일관되게 우월한 성능을 보였습니다 (예: Qwen3.5-4B 는 ASCII 에서 0.228 점, 언어에서는 0.181 점). 이는 공간 추론에 대해 컴팩트하고 토큰 효율적인 표현이 우수함을 시사합니다.
• 모델 효율성: 더 나은 하네스를 가진 작은 모델은 약한 설정을 가진 더 큰 모델보다 우수한 성과를 거두었습니다 (예: Reasoner 를 갖춘 Qwen3.5-0.8B 는 이를 갖추지 않은 Qwen3-4B 보다 우월함).

중요성 및 주장

저자들은 Agentick 이 일반 자율 에이전트로의 진전을 이끌기에 필요한 실증적 인프라를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 패러다임 간 비교 가능: 동일한 작업에서 표준화된 지표로 RL, LLM, VLM 및 하이브리드 에이전트의 공정한 평가를 지원하는 최초의 벤치마크입니다.
2. RL 사후 훈련 촉진: 수학 및 코드와 같은 정적 영역에서의 현재 RLVR(검증 가능한 보상을 통한 강화학습) 성공을 넘어, 진정한 순차적, 확률적, 상호작용 환경에서 파운데이션 모델의 RL 사후 훈련을 위한 훈련장으로 기능합니다.
3. 근본적 격차 드러냄: 결과는 복잡한 순차적 의사결정, 특히 추론 및 장기 계획 분야에서 현재 접근 방식이 부족함을 강조하며, FM 추론과 RL 훈련 제어를 결합한 하이브리드 아키텍처가 필요할 수 있음을 시사합니다.
4. 연구 활용성: 구성 가능한 하네스, 오라클 데이터셋, 실시간 리더보드를 제공함으로써 에이전트 발판, 커리큘럼 학습, 관찰 모달리티가 에이전트 성능에 미치는 영향에 대한 연구를 용이하게 합니다.

이 논문은 현재 어떤 단일 접근법도 우세하지 않지만, 벤치마크가 패러다임 간을 성공적으로 구분하고 진정한 일반 자율 에이전트 구축을 위한 방대한 연구 과제를 부각시켰다고 결론지었습니다.