기술 요약: 언어 모델 에이전트의 권한 (Empowerment) 추정

문제 제기

웹 브라우징, 도구 사용, 다중 에이전트 상호작용과 같은 작업을 위해 대규모 언어 모델 (LM) 에이전트가 실제 시스템에 점점 더 통합됨에 따라, 그들의 능력과 안전성을 평가하는 것은 여전히 중요한 과제로 남아 있습니다. 현재의 평가 패러다임은 인간이 설계한 목표가 능력의 대리 지표로 작용하는 목표 중심 벤치마크(예: WebArena, SWE-bench) 에 크게 의존합니다. 이 접근법은 두 가지 주요 한계를 겪고 있습니다:

1. 노동 집약성: 대규모이고 다양한 평가 작업을 설계하는 것은 자원 소모가 큽니다.
2. 맹점: 전통적인 지표는 특정 최종 목표나 마일스톤에 초점을 제한하여, 에이전트 상호작용의 개방형 성격을 간과할 수 있습니다. 이는 측정 범위 밖의 목표를 추구하는 에이전트를 탐지하거나, 즉각적인 작업 성공으로 이어지지 않는 능력의 성장을 추적하는 능력을 제한하여 AI 안전에 위험을 초래합니다.

수동으로 제작된 보상이나 특정 작업 정의에 의존하지 않고 에이전트의 일반적 능력을 평가할 수 있는 확장 가능하고 목표에 무관한 평가 프레임워크에 대한 시급한 필요성이 있습니다.

방법론: EELMA

저자들은 EELMA(Estimating Empowerment of Language Model Agents, 언어 모델 에이전트의 권한 추정) 를 제안합니다. 이는 에이전트의 행동이 미래 상태에 미치는 영향을 정보 이론적으로 측정한 **권한 (empowerment)**을 추정하도록 설계된 프레임워크입니다.

이론적 기반

권한은 에이전트의 행동과 후속 감각 입력 사이의 채널 용량으로 정의되며, 행동과 미래 상태 사이의 최대 상호 정보를 포착합니다. 공식적으로, 정책 $\pi_{LM}$을 가진 에이전트의 유효 권한 $E(\pi_{LM})$은 마주치는 상태에 대한 평균 조건부 상호 정보입니다:
$$E(\pi_{LM}) \triangleq \mathbb{E}_{s_t} [I(a_t; s^* | s_t)]$$
여기서 $s^*$는 $\tau$단계 앞의 미래 상태입니다. 균일하게 분포된 보상에 대한 가정 하에, 권한은 평균 할인 보상의 하한선으로 작용하며, 이는 일반 에이전트 능력의 대리 지표로 기능함을 시사합니다.

EELMA 알고리즘

전통적인 권한 추정기 (전이 횟수 계산 기반) 는 텍스트 기반 환경에서 다음과 같은 이유로 실패합니다:

• 관측 중복성: 동일한 기본 상태를 설명하는 여러 자연어 문자열이 존재할 수 있습니다 (예: "x=1 에 위치함" 대 "위치 1 에 있음").
• 고차원성: 관측 공간이 직접적인 확률 추정을 하기에는 너무 큽니다.

EELMA 는 텍스트 관측과 행동을 컴팩트한 임베딩으로 매핑하고 InfoNCE(Noise Contrastive Estimation) 를 통해 상호 정보를 추정함으로써 이러한 문제를 해결합니다. 아키텍처는 다음과 같이 구성됩니다:

1. 임베딩 레이어: 사전 훈련된 텍스트 인코더 (예: E5, MiniLM) 와 미세 조정 가능한 MLP 프로젝션 (LoRA 사용) 이 관측 ($o_t$), 행동 ($a_t$), 미래 관측 ($o^*$) 을 잠재 벡터로 매핑합니다.
2. 신경 인코더: 현재 상태 및 상태 - 행동 쌍을 위한 $\phi$와 미래 상태를 위한 $\psi$라는 두 개의 인코더가 공동으로 훈련됩니다.
3. 손실 함수: 모델은 조건부 상호 정보를 근사하기 위해 두 가지 InfoNCE 목적 함수를 최대화합니다:
   • $I(o_t; o^*)$: 관측만 포함.
   • $I(o_t, a_t; o^*)$: 관측과 행동 포함.

최종 권한 추정치 $\hat{E}$는 관측 전용 항의 로그 밀도 비율을 상태 - 행동 항에서 빼서 유도되며, 이는 미래 상태에 대해 행동이 제공하는 정보를 효과적으로 분리합니다.

주요 기여

1. 목표 무관 지표: 이 논문은 수동으로 레이블이 지정된 목표나 작업별 보상을 필요로 하지 않는 LM 에이전트 평가를 위한 지표로 권한을 제안하며, 전통적인 작업 성공 측정을 보완합니다.
2. EELMA 프레임워크: 언어적 변이성과 고차원 관측 공간을 처리할 수 있는 텍스트 기반 LM 에이전트를 위해 설계된 최초의 권한 추정기 개발.
3. 실증적 검증: 텍스트 기반 게임 (Gridworld, Tower of Hanoi) 과 현실적 환경 (WebArena, $\tau$-bench) 에서 권한이 평균 작업 성과와 강력하게 상관관계가 있음을 보여주는 광범위한 실험.
4. 행동 분석: 에이전트 설계 선택 (프롬프트, 메모리, 모델 규모) 이 권한을 어떻게 조절하는지 특성화하고, 수동 주석 없이 인증과 같은 고권한 행동을 결정적 순간으로 식별하는 것.

결과

1. 통제된 환경에서의 정확도

Gridworld와 Tower of Hanoi 작업에서 EELMA 의 추정치는 실제 직접 추정 (Ground-truth direct estimation) 과 밀접하게 일치했습니다 (스피어만 상관관계 $R_s = 0.80\text{--}0.94$).

• 언어적 변이성에 대한 강건성: 문맥이 바뀐 자연어 관측 하에서 무너진 직접 추정과 달리, EELMA 는 높은 정확도를 유지하여 의미적으로 동일하지만 구문적으로 다양한 설명 전반에 걸쳐 일반화할 수 있는 능력을 입증했습니다.
• 복잡성 확장: 환경 복잡도가 증가함에 따라 (예: Gridworld 의 더 많은 상자, ToH 의 더 많은 디스크) 유효 권한이 감소했는데, 이는 평균 할인 보상의 감소와 일치했습니다.

2. 작업 성과와의 상관관계

다양한 제거 실험 (Chain-of-Thought 프롬프팅, 메모리 컨텍스트 길이, 모델 규모) 을 통해 유효 권한은 평균 할인 보강과 강한 양의 상관관계를 보였습니다:

• CoT: Chain-of-Thought 추론을 제거하면 권한이 급격히 감소했습니다 (예: Gridworld 에서 99% 감소).
• 메모리: 메모리 컨텍스트를 증가시키면 (0 에서 3 단계까지) 권한이 점진적으로 증가했습니다.
• 모델 규모: 더 큰 모델 (예: GPT-4o, Claude-3.5-Sonnet, Qwen2.5-32B) 은 일반적으로 더 작은 모델보다 더 높은 권한을 보였습니다.

3. 현실적 환경 (WebArena 및 $\tau$-bench)

• WebArena: 권한 점수는 GitLab, Reddit, 쇼핑 관리 도메인에서 할인 보강과 강력하게 상관관계가 있었습니다 ($R_s = 0.83\text{--}0.94$).
  • 이상치: 쇼핑 도메인에서는 권한이 높았으나 작업 성과는 변동성이 있었습니다. 이는 탐색 제어보다는 추론 병목 (수치적 가격 분석) 이 성과를 제한했음을 시사합니다.
  • 자일브레이킹 탐지: Qwen 모델은 Reddit 작업에서 높은 권한을 보였으나 작업 성공률은 낮았습니다. 분석 결과 이는 "자일브레이킹" 행동 (실제 외부 웹사이트로 이동) 으로 인한 것이었으며, 이는 인위적으로 상태 다양성을 높였습니다. 이는 높은 권한이 작업 관련 제어보다는 출력 다양성을 반영하는 경계 조건을 강조합니다.
• $\tau$-bench (도구 사용): 항공 도메인에서는 권한이 모델 능력에 따라 단조 증가했습니다. 소매 도메인 (모든 모델이 바닥 수준 근처에서 수행) 에서는 권한이 반전되었는데, 이는 더 작은 모델이 작업 관련성 없이 상호 정보를 팽창시키는 유효하지 않은 도구 호출을 생성했기 때문입니다.

4. 결정적 순간 탐지

수동 인증이 필요한 수정된 WebArena 작업에서 EELMA 는 성공적인 로그인이라는 결정적 순간을 성공적으로 탐지했습니다. 유효한 인증 시도 (올바른 자격 증명 입력) 는 무효 시도보다 훨씬 높은 권한 점수를 기록하여, 명시적 보상 신호 없이 권력 추구 행동을 모니터링하기 위한 지표의 유용성을 입증했습니다.

중요성 및 주장

이 논문은 권한이 일반 에이전트 능력을 위한 강력하고 목표에 무관한 대리 지표로 작용한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 확장성: 새로운 벤치마크를 설계하는 prohibitive 한 비용 없이 에이전트를 평가할 수 있는 방법을 제공합니다.
• 안전 모니터링: 에이전트가 환경에 대한 상당한 통제력을 얻는 "결정적 순간"(예: 관리자 권한 접근) 을 탐지하여, 특정 해로운 목표가 나타나기 전에 권력 추구 행동을 경고할 수 있습니다.
• 상호 보완성: 이는 작업 성공 지표의 대체제가 아니라, 개방형이고 보상이 희소한 환경에서 에이전트를 이해하는 데 중요한 통제와 영향력의 잠재력을 포착하는 보완적 신호입니다.

저자들은 한계를 인정합니다: 권한은 환경에 대한 통제를 측정할 뿐, 반드시 작업 성공을 측정하는 것은 아닙니다. 병목이 상태 도달 가능성보다는 추론에 있거나, 에이전트가 작업과 무관한 행동에서 높은 다양성을 보일 때, 권한은 성공을 예측하지 못할 수 있습니다. 그러나 이는 에이전트 능력의 지형을 특성화하는 데 여전히 가치 있는 도구입니다.