기술 요약: AGORA – LLM 에이전트를 위한 추론 없는 프롬프트 압축을 위한 어댑터 기반 관찰 - 행동 유지

1. 문제 정의

대형 언어 모델 (LLM) 에이전트는 환경과 상호작용하며 행동과 관찰의 긴 궤적을 축적합니다. 작업 범위가 확장됨에 따라 (예: WebShop 에서 30 단계까지 10 만 토큰을 초과), 이러한 컨텍스트를 압축하는 것이 실용적인 필수 사항이 됩니다. 그러나 해당 논문은 일반적인 단일 턴 LM 을 위해 설계된 표준 프롬프트 압축 기술이 LLM 에이전트에게는 구조적으로 부적절하다고 주장합니다.

식별된 핵심 문제는 행동 문법 파괴입니다. 에이전트 궤적에서 중요한 행동 의미 (식별자, 대괄호, search[...] 또는 click[...]와 같은 행동 동사) 를 지닌 토큰들은 종종 주변 자연어 컨텍스트에서 매우 예측 가능합니다. 따라서 자기 정보 (self-information) 나 퍼플렉시티 (perplexity) 를 기준으로 토큰을 순위 매기고 점수가 가장 낮은 토큰을 제거하는 토큰 수준 추출형 압축기는 체계적으로 이러한 의미 토큰을 삭제합니다. 그 결과 생성된 "압축된" 프롬프트는 문법적인 영어는 포함하지만 문법적으로 잘못된 에이전트 명령을 포함하게 되어, 환경이 행동을 거부하고 에이전트가 실패하게 됩니다.

저자들은 두 개의 독립적인 토큰 수준 방법 계열 (Selective Context 및 LLMLINGUA-2) 에 걸친 17 개의 실험 셀 전반에 걸쳐 모든 구성이 1.3~13.3 배의 압축률을 달성함에도 불구하고 평균 보상 ($m_r$) 이 $\leq 0.05$로 붕괴됨을 입증했습니다.

2. 방법론: AGORA

이를 해결하기 위해 저자들은 AGORA(Adapter-Grounded Observation-Action Retention Architecture) 를 제안합니다. 이는 추론이 필요 없는 단계별 (step-level) 압축기입니다. 토큰 수준 방법과 달리 AGORA 는 완전한 (행동, 관찰) 쌍의 단위로 작동하여 행동 구문이 온전하게 유지되도록 합니다.

AGORA 는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 구조적 프롬프트 파서:

   • 에이전트의 궤적을 역할 유형 블록 (시스템, 작업, 과거 단계, 현재 관찰, 대기 중인 응답) 으로 분할합니다.
   • 과거 상호작용을 이산적인 단계 쌍 $(a_i, o_i)$으로 그룹화합니다.
   • 이 파싱은 결정론적이며 작업과 무관하며, 역할 마커 (예: [ASSISTANT], [USER]) 에 의존합니다.

2. 항상 유지 바닥 (결정론적 품질 바닥):

   • 형식과 최신성을 유지하기 위해 특정 중요한 콘텐츠를 무조건적으로 유지합니다:
     • 시스템 메시지 ($c_{sys}$) 및 작업 지시 ($c_{task}$).
     • 현재 관찰 ($c_{now}$) 및 대기 중인 응답 ($c_{pend}$).
     • 가장 최근 $K_{recent}=2$단계.
   • 이 계층은 에이전트가 기능하는 데 필요한 "불변성" (예: 현재 상태와 최근 역사 파악) 이 결코 손실되지 않도록 보장합니다.

3. 학습된 단계 관련성 점수기:

   • 현재 관찰에 대한 나머지 과거 단계의 관련성을 점수하도록 훈련된 125M 파라미터 RoBERTa-base 분류기입니다.
   • 훈련 신호: 모델은 반사실적 다음 행동 변경 레이블로 훈련됩니다. 각 과거 단계 $s_i$와 현재 관찰 $c_{now}$에 대해 에이전트 백본에 $K=8$회 쿼리합니다 (절반은 $s_i$ 포함, 절반은 제외). 레이블은 표준화된 다음 행동이 변경된 비율입니다. 이는 단계의 중요도를 나타내는 소프트 레이블 $y_i \in [0, 1]$을 생성합니다.
   • 추론: 점수기는 API 호출 없이 단일 순전파 ($\sim 2$ms/단계) 를 실행합니다. 단계 $s_i$를 제거할 때 다음 행동이 변경될 확률 $p_i$를 출력합니다.

4. 탐욕적 예산 채우기:

   • 목표 문자 예산 (예: 원래 길이의 25%) 이 주어지면, 시스템은 "항상 유지 바닥" 이후의 남은 공간을 관련성 점수 $p_i$의 내림차순으로 비바닥 단계를 탐욕적으로 선택하여 채웁니다.
   • 삭제된 단계는 단일 생략 마커 (예: [... N 단계 생략됨 ...]) 로 대체됩니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 행동 문법 파괴의 식별: 저자들은 토큰 수준 압축기가 에이전트에서 실패하는 구조적 실패 모드를 공식적으로 진단하고 명명합니다. 이들은 이러한 방법들이 행동 구문에 필수적인 낮은 자기 정보 토큰을 제거하기 때문에 에이전트 성능이 붕괴됨을 보여주는 체계적인 증거 (17 개 셀) 를 제공합니다.
2. AGORA 아키텍처: 구조적 파서, 결정론적 "항상 유지" 바닥, 그리고 반사실적 레이블로 훈련된 학습된 관련성 점수기를 결합한 새로운 추론 없는 단계별 압축기입니다. 이는 제로 단계별 LLM 오버헤드로 적응형 압축 (1.0~11.5 배) 을 달성합니다.
3. 구성 요소 귀속: 제거 실험을 통해 각 설계 선택의 특정 가치를 분리합니다:
   • 항상 유지 바닥은 품질 유지를 위한 지배적인 레버입니다 (이를 제거하면 성능이 크게 저하됨).
   • 학습된 점수기는 적응형 압축 범위의 주된 동인이며, 고정된 유지 비율을 유지하면서 궤적 복잡도에 따라 압축 비율을 변형할 수 있게 합니다.

4. 실험 결과

저자들은 9 개의 셀 (3 개 환경: ALFWorld, ScienceWorld, WebShop; 3 개 백본: qwen3.5-flash, gpt-4o-mini, gpt-5-mini) 에서 AGORA 를 10 개의 베이스라인 (토큰 수준 추출형 방법 및 LLM 기반 추상형 압축기 포함) 과 비교 평가했습니다.

• 품질 유지: AGORA 는 9 개 셀 중 8 개에서 압축되지 않은 성능의 $\geq 75\%$를 유지한 유일한 추론 없는 방법입니다 (예외는 gpt-5-mini 를 사용한 ScienceWorld 로 73% 였음).
  • AGORA 를 사용한 평균 보상 ($m_r$): 0.387 (압축 없음 대비 92% 유지).
  • 반면, 토큰 수준 방법 (Selective Context, LLMLINGUA-2) 은 $m_r \leq 0.05$로 붕괴되었습니다.
• 압축 효율성: AGORA 는 단일 고정 구성 ($\rho=0.25$) 을 사용하여 1.0~11.5 배의 적응형 엔드 투 엔드 압축 범위를 달성하며, 셀별 튜닝 없이 특정 궤적 영역에 적응합니다.
• 비용: AGORA 는 단계당 제로 추가 LLM 토큰 비용이 발생합니다 (추론 없음). LLM 기반 압축기 (HiAgent, AgentDiet, ACON) 는 종종 긴 궤적 시나리오에서 공격적인 압축으로 인해 작업당 비용을 낮추지만, 자체 압축기 호출을 위해 작업당 8~126k 개의 추가 토큰을 소모합니다. AGORA 는 단계별 LLM 오버헤드가 prohibitive 하거나 유지가 제약 조건인 시나리오에서 우월합니다.
• 제거 실험: "항상 유지 바닥"을 제거하면 가장 큰 성능 저하 ($\Delta m_r \approx -0.088$) 가 발생했습니다. 점수기를 제거하면 성능이 약간만 저하되었으나 ($\Delta m_r \approx -0.031$), 적응형 압축 범위가 사라져 바닥이 품질을 처리하고 점수기가 압축량을 처리함을 확인했습니다.

5. 중요성 및 주장

이 논문은 AGORA 가 에이전트를 위한 프롬프트 압축 접근 방식에서 필요한 전환을 나타낸다고 주장합니다. 저자들은 토큰 수준 압축의 "순위 매기고 삭제" 패러다임이 에이전트에게는 구조적으로 잘못 지정되었다고 주장합니다. 이는 행동 명령의 구조적 무결성 대신 정보 밀도를 최적화하기 때문입니다.

중요성:

• 패러다임 전환: 토큰 수준에서 단계 수준 압축으로 설계 공간을 이동시켜 에이전트 명령의 구문 무결성을 유지합니다.
• 추론 없는 실행 가능성: 고품질 에이전트 압축이 비용이 많이 드는 단계별 LLM 호출을 필요로 하지 않음을 입증하여, 동결된 블랙박스 백본과 함께 배포할 수 있음을 보여줍니다.
• 강건성: 의미 요약보다 구조적 보존 ("바닥") 을 우선시함으로써 범용 압축기에서 발생하는 치명적인 실패 모드를 피합니다.

저자들은 AGORA 가 보편적인 비용 승자가 아니라고 (LLM 기반 방법은 긴 궤적 설정에서 순수 $/task 기준으로 종종 승리함) 겸손하게 언급하며, 넓은 신뢰 구간 ($n=30$) 으로 인해 평가가 포인트 추정치에 의존한다고 덧붙입니다. 그러나 그들은 AGORA 가 행동 구문을 깨뜨리지 않고 다양한 에이전트 설정에서 높은 성능을 유지하는 유일한 실행 가능한 추론 없는 솔루션을 제공한다고 단언합니다.