기술 요약: 효율적인 에이전트 추론을 위한 잠재 행동 재파라미터화

문제 제기

대형 언어 모델 (LLM) 에이전트는 종종 다단계 추론 및 도구 상호작용을 수행하기 위해 저수준 텍스트 행동의 긴 시퀀스에 의존합니다. 이러한 토큰 수준의 세분성은 과도하게 큰 유효 결정 지평선 (effective decision horizons) 을 초래하여 높은 추론 지연 시간과 금지할 만한 계산 비용을 야기합니다. 기존 연구는 시스템 수준의 최적화, 하드웨어 가속, 또는 프롬프트 엔지니어링을 통해 효율성을 다루어 왔으나, 이러한 접근법들은 대부분 에이전트의 결정 과정과 직교적으로 작동합니다. 이들은 개별 추론 단계의 비용을 줄일 수는 있으나, 근본적인 병목 현상인 행동 공간 자체의 표현을 해결하지는 못합니다. 저자들은 추론 효율성이 에이전트 행동이 표현되는 세분성에 의해 제약받으며, 효율적인 LLM 에이전트 추론을 확장하기 위해서는 행동 표현을 1 급 모델링 선택 사항으로 취급할 필요가 있다고 주장합니다.

방법론: 잠재 행동 재파라미터화 (LAR)

저자들은 잠재 행동 재파라미터화 (Latent Action Reparameterization, LAR) 를 제안합니다. 이는 각 잠재 행동이 다단계 의미적 행동에 대응하는 컴팩트한 잠재 행동 공간을 학습하는 프레임워크입니다. 수동으로 설계된 매크로나 계층적 제어기와 달리, LAR 는 에이전트 궤적에서 직접 이러한 단위를 학습하여 모델에 통합합니다.

핵심 개념

1. 행동 재정의: 토큰 수준의 원시 연산자 (primitives) 위에서 작동하는 대신, 에이전트는 더 높은 수준의 잠재 행동 단위 ($z_t$) 를 통해 추론합니다. 각 잠재 행동은 저수준 행동의 시퀀스를 포괄하여, 유효 결정 지평선을 $H_{eff} = \sum |a_t|$에서 $H_{lat} = \sum |z_t|$로 효과적으로 단축시킵니다.
2. 실행 가능성 제약: 추상화와 실행 가능성 사이의 균형을 맞추는 것이 중요한 과제입니다. LAR 는 명시적 출력 공간에서 고엔트로피이며 파라미터가 풍부한 입력 (예: 특정 검색 쿼리, 수치적 엔티티) 을 엄격하게 보존함으로써 이를 해결합니다. 저엔트로피이며 구조적으로 반복되는 패턴 (예: 시스템 프롬프트, 도구 호출 구문, 반복되는 구성) 만 잠재 단위로 추상화됩니다.
3. 전이 동등성: 잠재 행동은 전이 동등한 행동을 유도하는 행동 세그먼트의 동치 클래스로 정의됩니다. 형식적으로, 두 세그먼트는 임의의 선행 역사에 대해 동일한 작업 관련 결과를 초래할 때 전이 동등합니다.

구현 파이프라인

LAR 는 4 단계 파이프라인을 통해 구현됩니다:

1. 식별: 시스템은 엔트로피 기반 필터를 사용하여 에이전트 궤적에서 전이 동등한 행동 세그먼트를 식별합니다. 다음 토큰 엔트로피가 낮고 (예측 가능한 연속) 빈도가 높은 세그먼트가 후보가 됩니다. 실행 가능성을 보장하기 위해 고엔트로피 세그먼트는 제외됩니다.
2. 어휘 구성: 식별된 세그먼트는 전용 어휘 기호를 할당받아 잠재 행동 어휘를 형성합니다.
3. 이중 형식 훈련 데이터: 원래 궤적은 매칭되는 세그먼트가 잠재 기호로 대체된 재파라미터화된 대응물과 쌍을 이룹니다.
4. 궤적 수준 증류: 학생 모델 (기본 LLM + LoRA 어댑터 + 새로운 잠재 임베딩) 은 고정된 교사 모델 (원래 LLM) 을 모방하도록 KL 증류를 통해 훈련됩니다. 손실은 공유 콘텐츠 위치에서만 계산되어, 새로운 잠재 임베딩이 압축된 세그먼트의 전체 의미를 인코딩하도록 강제합니다. 오직 LoRA 가중치와 새로운 임베딩만 학습 가능 (~파라미터의 0.1%) 합니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 상당한 효율성 향상: LAR 는 유효 행동 지평선을 크게 줄여 행동 토큰을 대폭 감소시키고, 다양한 벤치마크에서 토큰 처리량 및 피크 GPU 메모리 측면에서 시스템 수준의 이득을 가져옵니다.
2. 유지된 작업 성능: 압축된 공간에서 작동함에도 불구하고, LAR 는 원시 텍스트 행동을 사용하는 베이스라인 대비 작업 성공률을 유지하거나 개선합니다. 또한 재훈련 없이 홀드아웃 (held-out) 벤치마크로 전이되는 능력을 입증합니다.
3. 추상화 한계에 대한 분석: 저자들은 성능 붕괴 임계값을 경험적으로 식별합니다. 이는 압축 가능한 구조적 중복과 필수적인 의미적 내용 사이의 경계를 규정하며, 과도한 추상화가 파라미터 바인딩 콘텐츠가 잘못 추상화될 때 급격한 실패로 이어짐을 보여줍니다.
4. 확장에 대한 새로운 관점: 이 연구는 행동 표현 학습을 효율적인 LLM 에이전트 추론을 확장하는 데 있어 중요하지만 아직 탐구되지 않은 요인으로 위치시키며, 모델 아키텍처 및 하드웨어의 발전과 보완적인 경로를 제시합니다.

실험 결과

저자들은 세 가지 벤치마크인 TriviaQA(추론), KodCode(코드 생성), Mind2Web(웹 상호작용) 에서 두 개의 백본 모델 (Llama-3.1-8B-Instruct 및 Qwen3-8B) 에 대해 LAR 를 평가했습니다.

• 성능 대비 효율성: LAR 는 일관되게 유리한 정확도 - 효율성 트레이드오프를 달성했습니다. 예를 들어, Qwen3-8B 와 TriviaQA 에서 LAR 는 행동 토큰을 27.1% 줄이면서 정확도를 67.40%(Vanilla) 에서 80.09% 로 향상시켰습니다. KodCode 에서는 토큰을 약 9~10% 줄이면서 강력한 베이스라인과 일치하거나 근접하는 성능을 보였습니다.
• 일반화: "홀드인 (held-in)"데이터셋 (TriviaQA, KodCode) 에서 학습된 잠재 행동은 재훈련 없이 "홀드아웃 (held-out)"벤치마크 (Musique, HumanEval, MBPP) 로 효과적으로 일반화되어, 데이터셋 특유의 아티팩트가 아닌 도메인 수준의 구조적 추상화를 학습했음을 시사합니다.
• 시스템 수준 효율성: LAR 는 토큰 처리량을 향상시키고 피크 GPU 메모리 사용량을 감소시켰습니다. 특히, 잠재 기호가 표준 어휘 토큰으로 처리되므로 잠재 행동 디코딩은 추가적인 계산 오버헤드를 전혀 도입하지 않습니다.
• 절대 실험 (Ablation Studies): 점진적 추상화 실험은 세 가지 단계의 행동을 드러냈습니다: moderate 추상화에서의 성능 향상, 추상화 경계에서의 정점, 그리고 고엔트로피 파라미터화 구성 요소가 추상화될 때의 급격한 붕괴. 이는 식별 단계에서 엔트로피 필터의 필요성을 검증합니다.
• 산업적 전이: OpenClaw 산업 에이전트 런타임에 대한 사례 연구는 LAR 가 정적 시스템 프롬프트 발판 (scaffolding) 을 잠재 토큰으로 대체하는 플러그인 최적화 레이어로 배포될 수 있음을 보여주었으며, 프레임워크의 런타임 논리를 수정하지 않고도 Exact Match 점수를 최대 27% 상대적으로 향상시켰습니다.

중요성 및 주장

본 논문은 행동 표현 학습이 효율적인 LLM 에이전트 추론을 확장하는 데 있어 중요하고 아직 탐구되지 않은 요인이라고 주장합니다. 행동 공간을 재파라미터화함으로써 LAR 는 지나치게 세분화된 행동 인터페이스로 인한 비효율성을 직접 해결합니다. 저자들은 이 접근법이 에이전트가 원래 행동 공간의 표현력을 보존하고, 특히 외부 환경과의 상호작용 실행 가능성을 유지하면서 더 짧은 유효 지평선에서 작동할 수 있게 한다고 주장합니다.

이 연구는 효율성을 단순히 더 짧은 텍스트 생성의 부산물이 아닌, 더 적절한 결정 표현을 통해 작동하는 결과로 보아야 함을 시사합니다. 행동 표현을 1 급 모델링 선택 사항으로 취급함으로써 LAR 는 하드웨어 및 아키텍처 발전과 보완적인 경로를 제공하며, 32B 규모까지의 모델 스케일과 산업 배포 시나리오에서 검증되었습니다. 저자들은 그들의 방법이 설계상 보수적이며, 행동 공간의 구조적으로 규칙적인 부분에서 효율성을 향상시키는 동시에 드물고 불규칙한 부분에서는 위험을 전혀 도입하지 않아, 토큰 가지치기나 컨텍스트 압축 방법에서 흔히 보이는 성능 저하를 피한다고 강조합니다.