Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

기술 요약: 텍스트-표 모델링을 통한 제한된 상호작용으로 AI 에이전트의 의사결정 예측

문제 정의
본 논문은 제한된 수의 이전 상호작용 기록 ($K$ 게임) 만을 기반으로 낯선 언어 기반 AI 에이전트 (대상 에이전트) 의 다음 의사결정을 예측하는 과제를 다룹니다. 자동 협상이나 조달과 같은 시나리오에서 대상 에이전트의 기본이 되는 대규모 언어 모델 (LLM), 시스템 프롬프트, 제어 로직, 규칙 기반 폴백은 숨겨져 있습니다. 각 의사결정 시점은 구조화된 게임 상태 (제안, 라운드 번호, 보수) 와 자유 텍스트 대화의 혼합을 포함합니다. 저자들은 이를 대상 적응형 텍스트 - 표 예측 문제로 정의합니다. 목표는 두 가지 보완적 과제를 예측하는 것입니다:

1. 응답 예측: 대상 에이전트가 현재 제안을 수락할지 거부할지 결정하는 이진 분류 작업.
2. 제안 예측: 대상 에이전트가 제시할 다음 제안의 가치를 추정하는 회귀 작업.

이 설정은 내부 코드나 프롬프트에 접근할 수 없는 새로운 에이전트에 적응해야 하며, 오직 과거 행동에 대한 $K$ 개의 레이블이 지정된 예시와 이전에 관찰된 에이전트들의 대규모 소스 집단에만 의존해야 합니다.

방법론
제안된 접근법은 다음 수를 직접 예측하도록 대규모 LLM 을 요청하는 직접적인 "LLM-as-Predictor" 프롬프팅에서 벗어납니다. 대신 저자들은 의사결정 시점에 대한 멀티모달 표현을 조건으로 하는 텍스트 - 표 기반 모델 (TabPFN) 을 사용합니다. 핵심 구성 요소는 다음과 같습니다:

1. 특성 모드 (Feature Modalities): 각 의사결정 시점은 세 가지 특성 블록을 결합한 단일 테이블 행으로 표현됩니다:

   • 게임 상태 특성: 구성 매개변수 (예: 할인율, 가치 평가), 라운드 인덱스, 현재 및 과거 제안, 의사결정 역사를 포함한 구조화된 변수.
   • 대화 표현: 문장 트랜스포머 (예: all-MiniLM-L6-v2) 를 통해 인코딩되고 PCA 를 통해 축소된 대화 기록의 일반적 의미 임베딩.
   • 관찰자 표현 (LLM-as-Observer): 작은 고정 (frozen) LLM (예: Gemma-2-2B, Qwen3-1.7B) 이 공개된 의사결정 시점 상태와 대화를 읽는 새로운 특성 블록입니다. 핵심적으로, LLM 의 직접적인 출력 (예측된 의사결정) 은 폐기됩니다. 대신, 그 은닉 상태 (hidden states) (특히 상위 스택 레이어, 상대적 깊이 0.6~0.9 에서 추출됨) 가 추출되어 고차원 특성 벡터로 사용됩니다. 이는 LLM 을 직접적인 예측기가 아닌 의사결정 관련 신호의 인코더로 취급합니다.

2. 대상 적응형 학습: TabPFN 모델은 소스 집단 (GLEE 벤치마크의 13 개 최첨단 LLM) 으로 훈련되며, $K$ 개의 관찰된 게임을 컨텍스트 내 레이블이 지정된 예시로 사용하여 대상 에이전트에 적응합니다. 이 모델은 경사 기반 재훈련 없이 집단 수준의 규칙성과 대상별 증거를 결합합니다.

3. 베이스라인: 저자들은 전체 모델을 다음 항목들과 비교합니다:

   • 게임 + 텍스트 특성: 관찰자 은닉 상태 특성이 없는 동일한 테이블 모델.
   • LLM-as-Predictor: 게임 상태, 대화, 그리고 $K$ 개의 예시를 직접 프롬프트로 받아 예측을 출력하는 최첨단 LLM.

주요 기여

1. 문제 정의: 언어 기반 에이전트의 퓨샷 (few-shot) 예측을 $K$ 개의 이전 게임을 레이블이 지정된 적응 예시로 활용하는 대상 적응형 텍스트 - 표 작업으로 재정의합니다.
2. LLM-as-Observer: 고정된 LLM 이 인코더로 작용하는 의사결정 지향적 특성 블록을 도입합니다. 저자들은 작은 고정 LLM 의 은닉 상태가 모델의 직접적인 출력에서 신뢰성 있게 드러나지 않는 보완적이고 의사결정 관련 신호를 제공함을 입증합니다.
3. 교차 집단 데이터셋 및 평가: 저자들은 학생들에 의해 구축된 91 개의 "스캐폴딩 (scaffolded)" 에이전트 (공유된 기본 LLM 을 사용하지만 프롬프트와 제어 로직이 다름) 의 홀드아웃 데이터셋을 도입하고, 기본 모델이 다른 최첨단 LLM 집단 (소스 집단) 으로부터의 전이를 평가합니다. 이는 에이전트 이질성의 다양한 축에 걸쳐 예측기의 견고성을 테스트합니다.

결과
실험은 GLEE 프레임워크의 협상 및 교섭 게임에서 수행되었습니다.

• 성능: 관찰자 특성을 포함한 전체 텍스트 - 표 모델은 $K$ 의 모든 값 (0~16) 에 걸쳐 "게임 + 텍스트" 베이스라인과 직접적인 "LLM-as-Predictor" 접근법보다 우수한 성과를 거두었습니다.
• 관찰자 기여: $K=16$에서 관찰자 특성은 응답 예측 AUC 를 최상위 베이스라인 대비 약 4% 포인트 향상시켰으며, 협상 작업에서 제안 예측 오차 (중앙값 $R^2$로 측정) 를 14% 감소시켰습니다.
• 은닉 상태 vs 직접 출력: 제거 실험 (Ablation studies) 은 예측력이 LLM 의 직접적인 로짓이 아닌 은닉 상태에서 비롯됨을 확인했습니다. 은닉 상태는 LLM 의 자체 수락/거부 확률보다 일관되게 우수하여, 출력 헤드가 표면화하지 못하는 전략적 정보를 인코딩함을 시사합니다.
• 견고성: 관찰자 특성으로 인한 이득은 다양한 고정 LLM 제공자 (Gemma, Qwen, Llama) 와 중간부터 후기 레이어에 걸쳐 안정적이어서, 이 신호가 표현의 고유한 속성임을 나타냅니다.
• LLM-as-Predictor 의 한계: 대규모 최첨단 LLM 을 사용한 직접 프롬프팅은 제안 예측 (회귀) 에서 성능이 저조하여 종종 음수 $R^2$ 점수를 기록했습니다. 이는 연속적인 수치 값을 위한 자동회귀 토큰 생성을 보정하는 것이 표 모델의 회귀 능력에 비해 어렵기 때문일 가능성이 높습니다.

의의 및 주장
본 논문은 낯선 AI 에이전트의 의사결정을 예측하는 것은 직접적인 퓨샷 LLM 예측보다는 대상 적응형 텍스트 - 표 학습 문제로 정의하는 것이 더 적합하다고 주장합니다. 그 의의는 다음과 같은 점을 입증하는 데 있습니다:

• 표현 (고정된 LLM 인코더를 통해 추출) 과 적응 (지도식 테이블 학습기에 의해 수행) 을 분리하면 우수한 성능을 얻을 수 있습니다.
• 은닉 LLM 표현은 직접적인 프롬프팅이 신뢰성 있게 표면화하지 못하는 의사결정 관련 신호를 노출하며, 이는 대규모 최첨단 모델에 비해 작고 고정된 모델을 사용하더라도 마찬가지입니다.
• 이 접근법은 재사용 가능한 소스 집단을 사용하여 새로운, 엔지니어링된 에이전트 (스캐폴딩 에이전트) 에 효과적으로 적응할 수 있게 하여, 언어 매개 상거래에서 낯선 AI 에이전트의 의사결정을 모델링하기 위한 일반적인 레시피를 제시합니다.

저자들은 게임이 실제 시장이 아닌 통제된 추상화이며, 이 방법이 관련 소스 집단에 대한 접근을 전제한다는 한계를 지적합니다. 그들은 이 접근법이 사적인 상태를 공유하지 않고도 파트너에 적응할 수 있는 예측 인식 에이전트 (prediction-aware agents) 로 나아가는 한 걸음임을 강조합니다.