기술 요약: GroundAct

문제 제기

현재의 대규모 언어 모델 (LLM) 에이전트는 지시가 필요한 행동을 완전히 명시하는 작업에서 높은 성공률 (8596%) 을 보입니다. 그러나 행동의 실행 가능성이 지시문에 명시되지 않은 환경 상태에 의존할 경우 성능은 급격히 저하됩니다 (2953%). 기존 벤치마크 (예: ALFRED, BEHAVIOR-1K, PARTNR) 는 종종 이산 상태 변수, 정적 행동 공간, 또는 명시적 협력 지시를 제공함으로써 이러한 제약을 미리 해결합니다. 결과적으로 이러한 벤치마크는 환경 자체로부터 제약을 추론하는 능력을 평가하는 대신, 사전에 고정된 제약 하에서의 행동 실행을 평가합니다.

저자들은 행동 그라운딩 (action grounding) 이라는 결여된 능력을 식별했습니다. 이는 구조화된 환경 상태로부터 행동의 실행 가능성, 누락된 전제 조건, 그리고 개별 에이전트의 능력 초과 여부를 추론하는 능력입니다. 이 능력은 세 가지 차원으로 분해됩니다:

1. 속성 추론 (Attribute Reasoning): 연속적인 객체 속성 (예: 무게, 온도) 에 기반한 대조가 필요하며 술어 조회가 아닌 대상 추론을 수행합니다.
2. 도구 추론 (Tool Reasoning): 동적인 능력 가용성에 기반한 전제 조건 추론 (예: 도구를 잡으면 행동 집합이 확장되고, 놓으면 이러한 능력이 축소됨) 을 수행합니다.
3. 조정 추론 (Coordination Reasoning): 개별 능력 한계에 기반한 실행 가능성 추론 (예: 객체의 무게가 단일 에이전트의 하중 한계를 초과할 때를 인지하여 명시적 지시 없이도 협력이 필요함을 파악) 을 수행합니다.

방법론

GroundAct 프레임워크

저자들은 이 세 가지 추론 차원을 독립적으로 그리고 조합하여 평가하기 위해 설계된 벤치마크인 GroundAct를 소개합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. GA-Sim (환경 시뮬레이션):

   • 표현: 환경은 연속적인 3D 시뮬레이션 대신 텍스트 기반 구조화된 표현을 사용하여 방향성 그래프 ($G_t = (V_t, E_t, A_t)$) 로 모델링됩니다. 노드는 방, 객체, 에이전트를 나타내고, 간선은 공간적 관계를 인코딩합니다.
   • 동적 능력: 정적 벤치마크와 달리 GA-Sim 은 동적인 도구 - 능력 바인딩을 구현합니다. 도구를 잡으면 에이전트의 행동 집합이 동적으로 확장되고, 놓으면 이러한 능력이 축소됩니다.
   • 발현적 협력: 협력은 명시적 지시가 아닌 물리적 제약 (예: 무게 한계) 에 의해 트리거됩니다. 시스템은 모든 에이전트의 전제 조건을 검증하여 현실적인 다중 에이전트 상호작용을 보장합니다.

2. GA-Bench (평가 매트릭스):

   • 규모: 11 개 도메인 (예: 실험실, 사무실, 산업) 에 걸쳐 1,500 개의 검증된 시나리오로 구성되며, 64,057 개의 상호작용 객체와 6,381 개의 고유한 속성 유형을 포함합니다.
   • 작업 분류 체계: 작업은 인지적 복잡성 (L0~L2) 과 에이전트 구성 (단일 vs 다중 에이전트) 의 두 축을 따라 일곱 가지 범주로 조직화됩니다.
     • L0 (지시 따르기): 직접 명령 (DC) 및 명시적 협력 (EC).
     • L1 (차원 추론): 도구 사용 (TU), 속성 추론 (AR), 및 암시적 협력 (IC).
     • L2 (복합 작업): 복합 추론 (CR) 및 복합 협력 (CC).
   • 생성 파이프라인: 물리적 일관성과 해결 가능성을 보장하기 위해 LLM 기반 생성, 규칙 기반 검증, 그리고 인간 - 루프 검증을 결합한 4 단계 자동화 파이프라인을 사용합니다.

실험 설정

저자들은 3B 에서 671B 파라미터에 이르는 15 개의 대표적인 LLM 을 평가했습니다. 여기에는 폐쇄형 소스 모델 (GPT-4o, Claude-Opus-4.6), 오픈 소스 기반 모델 (Qwen2.5, Llama3.1, Deepseek-V3), 그리고 추론 특화 모델 (Deepseek-R1) 이 포함됩니다.

• 프로토콜: 모델은 부분 관측 가능성 하에서 운영되었으며, 객체의 위치와 속성을 발견하기 위해 탐색이 필요했습니다.
• 파인튜닝 분석: Qwen2.5-72B 에서 증류된 궤적을 사용하여 Qwen2.5-3B 에 대한 지도 학습 파인튜닝 (SFT) 실험을 수행하여 추론 능력의 전이 가능성을 평가했습니다.
• 어블레이션: "월드 그래프 (World Graph)" 조건을 테스트하여 전체 환경 그래프를 노출함으로써 제약 필터링 병목 현상과 별개로 검색 바운드 병목 현상을 분리했습니다.

주요 결과

1. 모델 성능의 진단적 패턴

• 차원 간 약한 상관관계: 속성 추론은 도구 및 조정 추론과 약하게 상관관계가 있습니다 ($r \in [-0.03, 0.02]$). 모델은 고유한 능력 프로필을 보입니다. 예를 들어, GPT-4o 는 속성 추론 (77.8%) 에서 뛰어나지만 복합 협력 (32.0%) 에서는 어려움을 겪는 반면, DeepSeek-R1 은 반대 패턴을 보입니다.
• 집계 점수의 차이 은폐: 유사한 전체 성공률을 가진 모델들 (예: GPT-4o 74.7% 대 DeepSeek-R1 73.9%) 은 질적으로 다른 실패 모드를 가집니다. 집계 지표는 이러한 구조적 차이를 포착하지 못합니다.
• 확장 및 추론 훈련 효과:
  • 확장: 모델 크기 증가 (Qwen2.5 시리즈의 3B 에서 72B 로) 는 지시 따르기 (0.6% 에서 89.7%) 를 크게 개선하지만, 속성 추론 (최대 57.4% 에 도달) 에는 체감 수익을 보입니다.
  • 추론 훈련: 추론 특화 모델 (Deepseek-R1) 은 협력 및 복합 작업을 개선하지만, 궤당당 훨씬 더 많은 토큰을 사용함에도 불구하고 속성 추론에서는 기본 모델보다 성능이 낮습니다.

2. 병목 현상 분석

• 관측 가능성 영향: 전체 환경 그래프 (월드 그래프) 를 노출하면 검색 단계를 제거함으로써 도구 사용 성능을 최대 +27.6% 까지 향상시킵니다. 반대로, 완전한 상태가 도입되어 협력의 물리적 필요성을 흐리게 하는 작업과 무관한 속성을 포함하게 되므로 암시적 협력 성능은 최대 -22.9% 까지 저하됩니다. 이는 도구 사용이 "검색 바운드 (search-bound)"인 반면, 암시적 협력은 "제약 필터링 바운드 (constraint-filtering bound)"임을 나타냅니다.
• 파인튜닝의 한계: Qwen2.5-3B 에 대한 지도 학습 파인튜닝은 직접 명령 성능을 0.6% 에서 76.3% 로 극적으로 개선했지만, 암시적 협력에는 1.5% 에서 5.5% 로 미미한 영향만 미쳤습니다. 이는 모방 학습이 실행 패턴은 전달하지만, 물리적으로 협력이 필요한 시점에 대한 잠재적 트리거를 가르치는 데는 실패함을 시사합니다.

3. 복합 작업의 도전

L1 작업에 비해 복합 작업 (L2) 의 성능은 크게 저하됩니다. 예를 들어, GPT-4o 는 L1 카테고리에서 평균 78.4% 를 기록하지만 복합 협력에서는 32.0% 로 떨어집니다. 이는 L2 작업이 단순히 더 어려운 L1 작업이 아니라, 여러 그라운딩 차원이 상호작용하여 새로운 병목 현상을 생성하는 영역임을 나타냅니다.

중요성 및 주장

본 논문은 행동 그라운딩을 단순한 확장이나 균일한 추론 훈련으로 환원할 수 없는 다차원적 도전으로 확립합니다. 저자들은 다음과 같이 주장합니다:

1. 행동 그라운딩은 고유함: 이는 단일 기술이 아니라 특정 아키텍처 또는 훈련 개입이 필요한 일련의 고유한 능력 (속성, 도구, 조정 추론) 의 집합입니다.
2. 기존 벤치마크는 불충분함: 기존 벤치마크는 사전 고정된 제약 하에서의 실행을 평가하여, 에이전트가 환경으로부터 제약을 추론해야 할 때 발생하는 특정 추론 실패를 진단하지 못합니다.
3. 진단에는 세분화가 필요함: 에이전트 역량 향상을 위해서는 그라운딩 요구 사항을 독립적으로 변화시키는 벤치마크가 필요합니다. 집계 성공률은 SFT 를 통해 쉽게 학습되는 능력 (예: 지시 따르기) 과 여전히 저항적인 능력 (예: 암시적 협력 트리거) 사이의 "등급화된 학습성 프로필 (graded learnability profile)"을 차원 간에 숨깁니다.

저자들은 향후 신체화된 에이전트의 진전은 균일한 확장보다는 특정 그라운딩 차원에 대한 표적 개입을 필요로 하며, 이러한 진전을 진단하려면 이러한 차원을 분리하는 벤치마크가 필요하다고 결론지었습니다.