Unpredictability dissociates from structured control in language agents

기술적 요약: 언어 에이전트에서 예측 불가능성이 구조적 통제와 분리됨

문제 제기
본 논문은 언어 에이전트 평가에 내재된 근본적인 혼동을 다룬다: 행동적 예측 불가능성 (확률적 분산) 이 구조적 통제와 동의어라는 가정이다. 광범위한 샘플링, 노이즈, 또는 거대한 출력 공간으로 인해 시스템의 행동을 예측하기 어렵다고 해서, 그것이 반드시 목표 관련 표현, 억제 메커니즘, 또는 문맥 민감적 행동 선택을 보유함을 의미하는 것은 아니다. 본 연구는 이러한 구성 요소들을 선택적으로 비활성화 (손상) 할 수 있는 언어 에이전트 구현체에서, 확률적 샘플링이 이유, 기억, 자기 상태, 그리고 억제 (거부) 를 행동 선택에 결합시키는 명시적이고 구조적인 메커니즘을 대체할 수 있는지 조사한다.

방법론
본 연구는 특정 통제 구성 요소를 분리하기 위해 설계된 "손상 가능 (lesionable)" 언어 에이전트 군집을 활용한다. 실험 설계는 세 가지 증거 축을 중심으로 구성된다:

1. 확률적 분산: 고온 샘플링 및 통제 모듈 비활성화를 통해 확률성을 증가시켰을 때 행동의 예측 불가능성이 증가하는지 측정.
2. 추적 - 행동 결합: 보고된 이유, 기억, 자기 상태, 그리고 거부 정보가 단순히 출력 형식에 존재하는 것을 넘어 최종 행동과 결합되어 유지되는지 평가.
3. 행동적 반응성: 자유 형식의 추적 문구와 무관하게, 반事实적 탐구와 표적 손상에 따라 유한 행동 코드가 예상된 방향으로 변화하는지 테스트.

실험 설정:

• 변형: 본 연구는 분기, 자기 상태, 기억, 이유 그래프, 그리고 거부를 활성화하는 구조적 통제 변형 (A4) 과, 통제 모듈을 비활성화하고 샘플링 온도를 높인 고확률성 비교군 (A5) 을 비교한다. 표적 손상 (A4_no_reason, A4_no_veto) 은 특정 구성 요소를 선택적으로 제거한다.
• 통제: 본 연구는 형식 가용성을 교란 요인으로 배제하기 위해 동일한 보고 스키마를 사용하는 정합 인터페이스 통제 (사후, 무작위 순서, 무작위, 그리고 verbosity 통제) 를 포함한다. 또한 강력한 확률적 대안 (저온 보정, 계산량 일치 샘플러, 자기 일관성) 을 테스트하고 오픈 가중치 모델 (Qwen2.5 7B/14B/32B, Mistral-7B) 과 외부 API 로 확장한다.
• 지표:
  • 행동 엔트로피: 예측 불가능성을 측정하기 위한 최종 행동 문자열에 대한 섀넌 엔트로피.
  • 행동 - 필드 결합 지수 (AFCI): 이유, 기억, 거부, 그리고 자기 상태가 최종 행동과 얼마나 정렬되었는지를 측정하는 복합 점수.
  • 유한 행동 코드 벤치마크: 최종 행동을 6 개 코드 온톨로지 (예: ACTION_A, VETO, DEFER) 로 매핑하는 형식 독립적 테스트. 점수 (BRSI, BMCI, BVEI, BSCI) 는 자유 형식 추적 문구를 무시하고 특정 탐구에 대한 반응성을 측정한다.
• 규모: 기준 손상 행렬은 7 개 데이터셋에 걸쳐 74,352 회 호출로 구성된다. 정합 인터페이스 통제는 26,946 회 생성을 포괄한다. 유한 행동 코드 벤치마크에는 57,816 개의 채점된 기록이 포함된다. 오픈 가중치 실행은 20 개 작업 군집에 걸쳐 모델당 126,000 회 생성을 다룬다.

주요 결과

1. 예측 불가능성과 통제의 분리: 기준 손상 행렬 (7/7 데이터셋) 에서 고확률성 비교군은 구조적 통제 변형보다 유의하게 더 예측 불가능했다. 그러나 이러한 증가된 분산은 구조적 통제 프로파일을 재현하지 못했다. 이유 또는 거부 구성 요소를 제거 (손상) 하는 것은 모든 7 개 데이터셋에서 예상된 구조적 통제 지표를 구체적으로 감소시켰으며, 이는 구조적 프로파일이 이러한 특정 메커니즘에 의존함을 확인시켜 주었다.
2. 결합 대 형식: 구조적 에이전트는 모든 데이터셋에서 모든 확률적, 사후, 무작위 순서, 그리고 verbosity 통제보다 유의하게 높은 행동 - 필드 결합 지수 (AFCI) 를 유지했다. AFCI 차이에 대한 하위 95% 부트스트랩 경계는 0.4519 였으며, 이는 결합이 단순한 보고 형식의 인공물이 아님을 시사한다.
3. 행동적 반응성: 유한 행동 코드 벤치마크에서 구조적 통제 변형은 모든 사전 정의된 행동 구성 요소 (이유, 기억, 거부, 자기 연속성) 에 대해 7/7 데이터셋에서 고확률성 비교군 및 표적 손상보다 우위를 점했다. 데이터셋 군집 부트스트랩 하위 95% 경계는 0.8557 이었다.
4. 견고성과 일반화:
   • 확률적 대체: 엔트로피 일치 시도 등을 포함한 강력한 확률적 통제들은 구조적 통제 프로파일을 회복하지 못했다. 사전 정의된 4 단계 엔트로피 근접 기준 (임계값 0.15) 을 충족하는 보정 후보는 없었다.
   • 모델 일반화: 분리는 Qwen2.5 (7B, 14B, 32B) 및 Mistral-7B 계열 전반에 걸쳐 유지되었다. 구조적 정확도는 분포 정합 및 무작위 순서 문맥 통제에 비해 각각 236/240, 240/240, 238/240 셀에서 우위를 점했다.
   • 맹검 감사: 1,200 개 항목에 대한 3 인 맹검 감사 결과 높은 일치도 (평균 쌍별 코헨의 $\kappa$ = 0.961) 를 보여 통제 차원의 채점을 검증했다.
5. 한계: 본 연구는 엄격한 엔트로피 일치 및 엄격한 토큰/계산량 일치가 사전 정의된 게이트를 충족하지 못했다고 명시적으로 지적한다. 따라서 결론은 테스트된 정합 통제에 국한되며, 어떤 완벽하게 엔트로피 보정된 확률적 비교군도 결코 성공할 수 없다고 주장하지는 않는다. 마찬가지로, 공식 반事实적 뒤집기 스트레스 테스트는 90% 뒤집기 추종 게이트를 충족하지 못했다.

의의 및 주장
본 논문은 특정 언어 에이전트 군집 내에서 예측 불가능성과 구조적 통제 간의 통제된 분리를 제공한다고 주장한다. 주요 기여는 이유, 기억, 자기 상태, 그리고 거부가 행동 선택과 결합될 때 정의되는 구조적, 행동 결합적 통제는 확률적 예측 불가능성이 재현하지 못함을 입증하는 데 있다.

본 연구는 에이전트 평가에서 변동성, 반영적 텍스트, 그리고 행동 통제가 쉽게 혼동된다고 논한다. 모델은 실제로 이를 행동 선택과 결합하거나 억제를 존중하지 않더라도 다양한 답변이나 그럴듯한 사후 근거를 생성할 수 있다. 손상 가능 아키텍처와 형식 독립적 행동 벤치마크를 사용하여 본 논문은 "구조적 통제 프로파일"이 확률적 샘플링만으로는 대체할 수 없는 고유한 운영 속성임을 확립한다.

이 발견은 테스트된 에이전트 군집, 프롬프트, 그리고 측정된 추적/행동 프로토콜에 modest하게 국한된다. 저자들은 에이전트의 보편적 법칙을 증명했다고 주장하기보다는 평가된 시스템 내에서 두 가지 구별된 운영 모드를 실험적으로 분리했다고 주장한다. 이 연구는 언어 에이전트에서 자발성이나 높은 엔트로피를 도구적 통제나 목표 지향적 에이전시와 동일시하지 말아야 한다는 경고를 제공한다.