기술 요약: 롤아웃 없이 작업 난이도 예측하기

문제 정의

대규모 언어 모델(LLM) 에이전트가 발전함에 따라, 평가의 프런티어는 경험적 검증을 위한 "롤아웃"(에이전트 상호작용 시뮬레이션)이 심각한 계산 및 물류적 병목 현상을 초래하는 복잡하고 장기적인 도메인으로 이동하고 있습니다. 이러한 환경을 위해 벤치마크를 설계하고 교정하는 것은 광범이한 시행착오를 요구하며, 이는 점점 더 비용이 많이 드는 일이 되고 있습니다. 기존 연구들은 정적인 벤치마크에서 데이터 오염을 탐지하기 위해 모델 불확실성을 사용하는 방법을 탐구했으나, 사전적 난이도 예측(ex ante difficulty prediction)—즉, 비용이 많이 드는 시뮬레이션을 실행하기 전, 오직 설명만으로 해당 작업이 어려울 가능성이 있는지 추정하는 것—에 대한 연구는 부족한 실정입니다. 기존 방식들은 주로 정적인 코딩 작업에 국한되어 있으며, 좁은 특징(feature)에 의존하고, 작업 수준의 난이도 추정을 정확하게 반영하지 못할 수 있는 평가 지표(예: AUC)를 사용합니다.

방법론

데이터셋 구축

저자들은 코딩, 수학, 머신러닝, 웹 네비게이션, 함수 호출, 사이버 보안을 아우르는 17개의 에이전트 벤치마크에 걸쳐 415,470개의 에이전트-작업 결과로 구성된 다중 벤치마크 코퍼스를 구축했습니다. 이 데이터셋은 216개의 모델과 90개의 스캐폴드(scaffold) 조합인 497개의 에이전트 구성으로 평가된 5,230개의 고유 작업을 포함합니다.

난이도 타겟 추정 (IRT)

지면 진실(ground-truth) 난이도 지표를 확립하기 위해, 저자들은 문항 반응 이론(IRT), 구체적으로는 1-매개변수 로지스틱(1PL) 라쉬(Rasch) 모델을 채택합니다.

• 모델: 에이전트 $a$가 작업 $t$에 성공할 확률은 $P(Y_{a,t}=1) = \sigma(\theta_a - \beta_t)$로 모델링됩니다. 여기서 $\theta_a$는 에이전트 능력, $\beta_t$는 작업 난이도를 나타냅니다.
• 학습: 모델은 관찰된 이진 결과(성공/실패)에 대해 확률적 변분 추론(SVI)을 통해 학습됩니다.
• 타겟: 결과물인 스칼라 값 $\beta_t$는 난이도 타겟 역할을 합니다. 서로 다른 벤치마크 간의 분산을 처리하기 위해, 이 값들은 각 벤치마크 내에서 표준화되어 $z(\beta_t)$를 생성합니다.

특징 공학 (Feature Engineering)

예측 파이프라인은 롤아웃 전 정보만을 사용하여 $\beta_t$를 추정하려고 시도합니다. 저자들은 작업 컨텍스트($C_t$)와 LLM이 생성한 추론 트레이스($R_t$)로부터 유도된 다섯 가지 특징 군(family)을 정의합니다:

1. 무작위 제어 (Random Control): 가우시안 노이즈.
2. 베이스라인 (Baseline): 로그 변환된 컨텍스트 길이.
3. 임베딩 (Embeddings): bge-base-en-v1.5를 사용한 추론 트레이스의 PCA 축소 임베딩.
4. 엔트로피 (Entropy): 오픈 웨이트 스코어러 모델(예: Qwen3-8B-Base)을 사용하여 추론 트레이스에 대해 계산된 토큰 수준의 샤논 엔트로피(Shannon entropy). 이는 각 토큰 위치에서의 모델 불확실성을 포착합니다.
5. 전체 세트 (Full Set): 엔트로피 요약(평균, 확산, 형태, 간격), 교차 스코어러 불일치, 벤치마크 메타데이터, 구조적 속성 및 임베딩의 결합.

평가 지표

저자들은 이 작업에 대한 AUC의 사용을 비판하며, 예측 모델이 모든 작업에 동일한 난이도를 할당하더라도 AUC가 높게 유지될 수 있음(에이전트 능력과 작업 난이도를 혼동함)을 입증했습니다. 대신 다음을 우선시합니다:

• 스피어먼 상관계수 ($\rho$): 예측된 난이도와 IRT로 추정된 난이도 간의 순위 상관관계.
• 쌍별 정확도 (Pairwise Accuracy, pAcc): 벤치마크 내의 작업 쌍 중에서 예측된 순서가 실제 순서와 일치하는 비율.
• 평가 분할 (Evaluation Splits): K-fold (내부 분포) 및 Leave-One-Benchmark-Out (LOBO, 외부 분포).

주요 결과

1. 난이도의 예측 가능성

작업 특징들은 난이도 예측을 위한 의미 있는 신호를 포함하고 있으나, 성능은 분포에 따라 달라집니다:

• 내부 분포 (K-fold): Full 특징 세트는 0.399의 스피어먼 $\rho$ ($p < 0.001$ vs. 베이스라인)를 달성했습니다. Entropy 특징 단독으로는 가장 강력한 단일 군이며 ($\rho = 0.193$), 임베딩이나 길이 베이스라인보다 우수한 성능을 보였습니다.
• 외부 분포 (LOBO): 성능이 하락하지만 여전히 유의미하며, Full 세트는 \rho = 0.225}에 도달했습니다. 이는 특징들이 난이도를 인코딩하고 있지만, 보지 못한 벤치마크 제품군으로의 일반화는 제한적임을 나타냅니다.

2. AUC의 한계

본 논문은 난이도 예측에 있어 AUC가 오해의 소지가 있음을 보여줍니다. "상수 난이도" 예측 모델(모든 작업에 동일한 값을 할당)은 AUC 0.715를 기록하며, "벤치마크 평균" 예측 모델은 AUC 0.806을 기록하지만, 벤치마크 내에서 작업을 순위 매기는 능력은 전혀 없습니다 (pAcc = 0.000). 이는 AUC가 작업 난이도 추정보다는 에이전트 능력의 분리 정도를 주로 측정함을 확인시켜 줍니다.

3. 엔트로피 궤적 (Entropy Trajectories)

절제 연구(Ablation studies)에 따르면, 엔트로피 궤적의 형태(국소적 불일치, 기울기, 분산)가 전역 평균 통계보다 더 유익합니다. 여러 스코어러 모델에 걸쳐 엔트로피를 집계하면 내부 분포 성능은 향상되지만, 외부 분포 전이는 일관되게 개선되지 않는데, 이는 벤치마크 특유의 문구에 대한 과적합 가능성을 시사합니다.

4. 잔차 진단 (Residual Diagnostics)

저자들은 예측된 난이도와 관찰된 난이도의 차이인 잔차 $r_t = z(\beta_t) - \hat{z}_t$ (관찰값 - 예측값)를 사용하여 숨겨진 작업 요인을 진단할 것을 제안합니다:

• 양의 잔차 ($r_t > 0$): 작업이 예측보다 어렵습니다. 이는 잠재적인 실행 가능성 문제(feasibility issues) 또는 평가자 오류를 나타냅니다 (예: django-14725 작업은 잔차가 +1.41이고 성공률이 9%였습니다).
• 음의 잔차 ($r_t < 0$): 작업이 예측보다 쉽습니다. 이는 친숙도(familiarity) 또는 **데이터 오염(data contamination)**을 나타냅니다 (예: django-11451 작업은 잔차가 -0.56이고 성공률이 71.8%였습니다).

의의 및 주장

본 논문은 사전적 난이도 예측이 선제적인 환경 설계를 위한 실행 가능하지만 불완전한 도구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 방법론적 전환: 사후 경험적 검증에서 롤아웃 전 추정으로 이동하여, 장기적인 도메인에서 상당한 컴퓨팅 자원을 절약할 수 있는 가능성을 제시합니다.
2. 진단적 유용성: 예측된 난이도와 관찰된 난이도 사이의 격차를 활용하여, 전체 평가를 수행하기 전에 데이터 오염이나 실행 불가능한 작업과 같은 벤치마크 결함을 식별하는 필터로 사용할 수 있음을 입증합니다.
3. 특징 통찰: 정적 임베딩이나 단순한 길이 지표보다 토큰 수준의 엔트로피가 더 우수한 예측 신호임을 확립합니다.
4. 평가의 엄밀성: 난이도 추정에서 AUC의 부적절함을 강조하고, 에이전트 능력과 작업 난이도를 혼동하는 것을 피하기 위해 순위 기반 지표(Spearman $\rho$, pAcc)를 옹호합니다.

저자들은 현재 분야의 상태에 대해 겸허한 태도를 유지하며, 내부 분포 순위 지정은 신뢰할 수 있지만, 교차 벤치마크 일반화는 여전히 해결해야 할 과제라고 언급했습니다. 그들은 향후 연구가 엔트로피를 시계열로 모델링하고, 작업의 친숙도와 실행 가능성에 대한 기계론적 예측 모델을 개발하는 데 집중해야 한다고 제안합니다.