기술 요약: 압축기로서의 에이전트 시스템: 비트로 정량화된 시스템 지능

1. 문제 정의

대규모 언어 모델(LLM)은 단순히 고립된 예측기가 아니라 도구, 검색 메커즘, 환경 제약, 검증기 및 다회차 탐색을 통합하는 에이전트 시스템으로서 점점 더 많이 배치되고 있습니다. 현재의 평가 지표(예: 정확도, 성공률)는 이러한 복잡한 워크플로우 내에서 역량의 근원이 어디인지 포착하지 못합니다. 높은 성공률은 그 성능이 모델의 내재적 예측 능력에서 온 것인지, 아니면 외부 구성 요소(예: 증거를 제공하는 검색기, 불법적인 움직임을 필터링하는 규칙 기반 환경, 또는 오류를 수정하는 검증기)에서 온 것인지 구분하지 못합니다. 또한, 성공률은 두 시스템이 모두 "거의 실패"하는 어려운 작업(성공률이 거의 0인 경우)에서 해상도가 부족합니다. 즉, 목표 공간에 대해 서로 판이하게 다른 잔여 불확실성을 가지고 있음에도 불구하고 이를 구별해내지 못합니다.

본 논문은 서로 다른 구성 요소(모델, 도구, 환경)가 타겟 분포에서 제거하는 잔여 불명확성의 양을 측정함으로써, 시스템 지능을 정량화하기 위한 통일되고 세밀한 분석 프레임워크의 필요성을 다룹니다.

2. 방법론: 에이전트적 코드 길이 (Agentic Codelength)

저자들은 에이전트 시스템을 **조건부 압축기(conditional compressor)**로 취급함으로써 "압축은 지능이다"라는 원칙을 구체화합니다. 고정된 작업 분포, 관찰 표준, 시스템 인터페이스 및 계산 예산 하에서, 더 지능적인 시스템은 타겟 객체를 재구성하는 데 더 적은 비트를 요구합니다.

2.1 이론적 프레임워크

• 에이전트 시스템의 정의: $A = (P, M, E)$라는 삼중항으로 정의됩니다. 여기서 $P$는 프로그램, $M$은 모델 인터페이스, $E$는 환경 인터페이스(도구, API, 검색기)를 나타냅니다.
• 조건부 압축: 시스템은 공공 조건 $c$(예: 프롬프트 또는 작업 명세)가 주어졌을 때 타겟 $x$를 압축합니다. 코드 길이 $L(x|c)$는 인코더가 동일한 시스템 조건을 공유하는 디코더가 $x$를 재구성할 수 있도록 전송해야 하는 정보량을 측정합니다.
• 관측적 동등성 (Observational Equivalence): 재구성은 바이트 단위의 정확한 복구를 요구하지 않습니다. 대신, 디코더 출력 $\hat{x}$는 일련의 관찰 가족 $O$ 하에서 $y \approx_O x$를 만족해야 합니다(예: 단백질 구조에서의 기능적 동등성 또는 스토리텔링에서의 의미적 동등성).
• 구성 요소의 가치: 특정 구성 요소 $g$의 기여도는 평균 코드 길이의 한계 감소량으로 정의됩니다: $\Delta_g = \bar{L}_{\Pi \setminus g} - \bar{L}_{\Pi_g}$.

2.2 코딩 방식

에이전트 설정에서 코드 길이를 추정하기 위해, 저자들은 세 가지 방식을 결합한 실행 가능한 **압축-해제 프로토콜(compress–decompress protocol)**을 제안합니다.

1. 산술 부호화 (Arithmetic Coding): 특정 출력의 정확한 인코딩에 사용됩니다. 토큰 단위로 음의 로그 가능도(NLL)를 누적하여 모델의 예측을 코드 길이로 변환합니다.
2. 시드 코딩 (Seed Coding): 밀집된 자격 출력(예: 결정론적이거나 재현 가능한 환경)이 있는 작업에 사용됩니다 잠재적 설명과 함께, 자격 있는 출력을 생성하는 **첫 번째 랜덤 시드의 순위(rank)**를 전송합니다. 비용은 $\lceil \log_2 N \rceil$ 비트이며, 여기서 $N$은 샘플링 예산입니다.
3. 폴백 (Fallback): 예산 내에서 시드 코딩이 실패할 경우, 시스템은 산술 부호화로 전환됩니다. 1비트 선택기가 이 경로를 구분합니다.

3. 주요 기여

1. 시스템 수준의 관점: 본 논문은 "압축은 지능이다"라는 관점을 고립된 모델이 아닌 에이전트 시스템에 적용한 첫 사례로, 도구, 환경, 상호작용 프로세스를 압축 메커니즘의 필수적인 부분으로 취급합니다.
2. 한계 비트 가치(Marginal Bit Value) 지표: 평균 코드 길이 감소를 통해 특정 구성 요소(예: 검색기 또는 검증기)의 기여도를 분석하는 정량적 지표를 도입하여, 성공률보다 높은 해상도를 제공합니다.
3. 실행 가능한 프로토콜: 다양한 작업 유형에 걸쳐 코드 길이를 측정할 수 있도록 산술 부호화, 시드 재생, 폴백을 결합한 통합 프로토콜을 제시합니다.
4. 경험적 검증: 다섯 가지 서로 다른 설정에서 프레임워크를 검증하여, 구성 요소의 가치, 관찰 정밀도 및 계산 트레이드오프를 분석하는 능력을 입증했습니다.

4. 실험 결과

프레임워크는 전형적인 에이전트 구성 요소를 분리한 다섯 가지 설정(A–E)에서 평가되었습니다.

• A. 역순 텍스트 (결정론적 도구): 공유된 역변환을 사용하여 코드 길이를 2.877에서 0.742 bits/byte로 감소시켰으며, 이는 결정론적 도구가 잔여 불확실성을 획기적으로 줄일 수 있음을 보여줍니다.
• B. 체스 수 (규칙 기반 환경): 규칙 기반 환경을 통해 합법적인 수 제약을 강제함으로써 코드 길이를 9.828에서 6.545 bits/move로 감소(3.283 bits/move 절감)시켰습니다. 이는 환경 제약이 후보 공간을 어떻게 축소하는지 보여줍니다.
• C. 단백질 서열 (과학적 템플릿):
  • 보정된 상동 템플릿은 코드 길이를 200.65에서 116.80 bits/seq로 감소(83.85 bits 절감)시켰습니다.
  • C' (기능적 동등성 및 검증기): 성공률이 낮았던 기능적 동등성 작업에서, 검증기 피드백과 수정을 추가했을 때 평균 코드 길이는 402.99에서 27.58 bits/seq로 감소(375.41 bits/seq 절감)했습니다. 이는 성공률이 68%에서 98%로 상승했음에도 불구하고, 지표가 성공률이 정체되는 구간에서도 민감하게 반응함을 보여줍니다.
• D. 검색 증강 생성 (RAG): 관련 문서는 검색 실패 시와 비교하여 답변 코드 길이를 평균 18.29 bits 감소시켰습니다. 방해 문서(distractor documents)는 미미한 도움(2.95 bits)만을 주었으며, 혼합된 검색은 대부분의 이득을 유지했습니다. 이는 검색의 가치가 관련성에 따라 연속적으로 가격 책정됨을 증명합니다.
• E. 의미론적 스토리 압축:
  • 관찰 정밀도: 관찰자 표준이 엄격해짐에 따라(문자 보존에서 전체 플롯/결말의 정확성으로) 코드 길이가 단조롭게 증가했으며, 이는 압축 능력이 관찰 표준에 상대적임을 확인시켜 줍니다.
  • 계산 트레이드오프: 요약 롤아웃 예산($T$)을 늘리면 압축 성능이 향상되었으나(비트 감소: 292.1 $\rightarrow$ 127.5), 수확 체감의 법칙이 나타났습니다. 이는 계산 예산과 코드 길이 사이의 **파레토 프런티어(Pareto frontier)**를 확립합니다.

5. 의의 및 주장

본 논문은 에이전트적 코드 길이가 서로 다른 정보원과 성공 기준에 걸친 잔여 불확실성을 설명하는 통일된 회계 도구 역할을 한다고 주장합니다.

• "거의 실패"의 해상도 해결: 이 지표는 성공률이 거의 0에 가깝더라도 잔여 불확실성 감소 측면에서 서로 다른 차이를 보이는 시스템(예: 단백질 기능적 동등성 실험)을 구별할 수 있습니다.
• 구성 요소 분석: "한계 비트 가치"를 정량화함으로써, 엔지니어가 검색기, 검증기 또는 환경 제약이 시스템 역량에 정확히 얼마나 기여하는지 이해할 수 있게 합니다.
• 지능의 상대성: 논문은 지능이 모델의 절대적 속성이 아니라 프로토콜(분포, 관찰자, 인터페이스 및 예산)에 상대적이라고 주장합니다. 에이전트 워크플로우는 효과적으로 "기술 언어"를 변경하여, 정보를 개별 인스턴스 메시지에서 공유된 프로토콜 및 디코딩 시스템으로 이동시킵니다.
• 에이전트적 의사 엔트로피 (Agentic Pseudo-Entropy): 저자들은 제약이 있는 에이전트 시스템 클래스와 관련하여 데이터의 압축 불가능성을 정의하는 이론적 확장인 "에이전트적 의사 엔트로피"를 제안하며, 사용 가능한 모든 도구와 탐색 전략을 활용한 후 남는 진정한 복잡성을 특징짓습니다.

저자들은 이 실험들이 실제 배포된 시스템을 위한 최종 벤치마크라기보다 메커니즘을 검증하기 위한 소규모 통제 실험임을 명시하며 신중한 태도를 유지합니다. 결과는 결정적인 성능 순위를 매기기보다는 실제 에이전트 시스템을 평가하기 위한 방법론적 지침을 제공합니다.