Resumo Técnico: Prevendo a Dificuldade de Tarefas Sem Rollouts

Declaração do Problema

À medida que os agentes de Grandes Modelos de Linguagem (LLMs) avançam, a fronteira da avaliação desloca-se para domínios complexos de longo horizonte, onde a validação empírica via "rollouts" (interações simuladas do agente) torna-se um gargalo computacional e logístico severo. Projetar e calibrar benchmarks para esses ambientes requer tentativa e erro extensivos, o que é cada vez mais proibitivo. Embora trabalhos anteriores tenham explorado o uso da incerteza do modelo para detectar contaminação de dados em benchmarks estáticos, há uma carência de pesquisa sobre a predição de dificuldade ex ante — estimar se uma tarefa tem probabilidade de ser difícil baseando-se apenas em sua descrição antes de executar simulações dispendiosas. As abordagens existentes são frequentemente limitadas a tarefas de codificação estáticas, dependem de características estreitas e utilizam métricas de avaliação (como AUC) que podem não refletir com precisão a estimativa de dificuldade ao nível da tarefa.

Metodologia

Construção do Dataset

Os autores construíram um corpus multi-benchmark compreendendo 415.470 resultados de tarefas de agentes através de 17 benchmarks de agentes, abrangendo codificação, matemática, aprendizado de máquina, navegação web, chamada de função e cibersegurança. O dataset inclui 5.230 tarefas únicas avaliadas por 497 configurações de agentes (combinações de 216 modelos e 90 scaffolds).

Estimativa de Alvo de Dificuldade (IRT)

Para estabelecer uma métrica de dificuldade de verdade fundamental (ground-truth), os autores empregam a Teoria de Resposta ao Item (IRT), especificamente o modelo logístico de um parâmetro (1PL) Rasch.

• Modelo: A probabilidade de um agente $a$ ter sucesso na tarefa $t$ é modelada como $P(Y_{a,t}=1) = \sigma(\theta_a - \beta_t)$, onde $\theta_a$ representa a capacidade do agente e $\beta_t$ representa a dificuldade da tarefa.
• Treinamento: O modelo é treinado via inferência variacional estocástica (SVI) sobre resultados binários observados (sucesso/falha).
• Alvo: O valor $\beta_t$ resultante serve como o alvo de dificuldade. Para lidar com a variância entre diferentes benchmarks, esses valores são padronizados dentro de cada benchmark para produzir $z(\beta_t)$.

Engenharia de Características (Feature Engineering)

O pipeline de predição tenta estimar $\beta_t$ usando apenas informações pré-rollout. Os autores definem cinco famílias de características derivadas do contexto da tarefa ($C_t$) e de um rastro de raciocínio ($R_t$) gerado por um LLM:

1. Controle Aleatório: Ruído Gaussiano.
2. Baseline: Comprimento de contexto transformado em logaritmo.
3. Embeddings: Embeddings de PCA reduzidos do rastro de raciocínio (usando bge-base-en-v1.5).
4. Entropia: Entropia de Shannon ao nível de token computada sobre o rastro de raciocínio usando modelos de pontuação de pesos abertos (ex: Qwen3-8B-Base). Isso captura a incerteza do modelo em cada posição de token.
5. Conjunto Completo (Full Set): Uma concatenação de resumos de entropia (média, dispersão, forma, lacunas), discordância entre pontuadores, metadados do benchmark, propriedades estruturais e embeddings.

Métricas de Avaliação

Os autores criticam o uso da Área Sob a Curva (AUC) para esta tarefa, demonstrando que a AUC pode permanecer alta mesmo se o preditor atribuir uma dificuldade constante a todas as tarefas (pois ela confunde a habilidade do agente com a dificuldade da tarefa). Em vez disso, eles priorizam:

• Spearman's $\rho$: Correlação de rank entre as dificuldades preditas e as estimadas por IRT.
• Acurácia Pareada (pAcc): A fração de pares de tarefas dentro de um benchmark onde a ordenação predita coincide com a ordenação real.
• Divisões de Avaliação: K-fold (dentro da distribuição) e Leave-One-Benchmark-Out (LOBO, fora da distribuição).

Principais Resultados

1. Preditibilidade da Dificuldade

As características da tarefa contêm um sinal significativo para a predição de dificuldade, mas o desempenho varia conforme a distribuição:

• Dentro da Distribuição (K-fold): O conjunto de características Completo (Full) alcança um Spearman $\rho$ de 0,399 ($p < 0,001$ vs. baseline). As características de Entropia sozinhas são a família individual mais forte ($\rho = 0,193$), superando embeddings e baselines de comprimento.
• Fora da Distribuição (LOBO): O desempenho cai, mas permanece significativo, com o conjunto Completo atingindo $\rho = 0,225$. Isso indica que, embora as características codifiquem a dificuldade, a generalização para famílias de benchmarks não vistos é limitada.

2. As Limitações da AUC

O artigo demonstra que a AUC é enganosa para a predição de dificuldade. Um preditor de "dificuldade constante" (atribuindo o mesmo valor a todas as tarefas) gera uma AUC de 0,715, e um preditor de "média do benchmark" gera uma AUC de 0,806, apesar de possuírem zero habilidade de ordenar tarefas dentro de um benchmark (pAcc = 0,000). Isso confirma que a AUC mede primariamente a separação das habilidades dos agentes, em vez da precisão da estimativa de dificuldade da tarefa.

3. Trajetórias de Entropia

Estudos de ablação revelam que a forma da trajetória de entropia (discrepâncias locais, inclinação e variância) é mais informativa do que estatísticas globais de média. Agregar a entropia através de múltiplos modelos de pontuação melhora o desempenho dentro da distribuição, mas não melhora consistentemente a transferência fora da distribuição, sugerindo um possível overfitting à linguagem específica do benchmark.

4. Diagnósticos de Resíduos

Os autores propõem o uso do resíduo $r_t = z(\beta_t) - \hat{z}_t$ (dificuldade observada menos a predita) para diagnosticar fatores ocultos da tarefa:

• Resíduos Positivos ($r_t > 0$): Tarefas são mais difíceis do que o previsto. Isso sinaliza potenciais problemas de viabilidade ou falhas do avaliador (ex: a tarefa django-14725 teve um resíduo de +1,41 e uma taxa de sucesso de 9%).
• Resíduos Negativos ($r_t < 0$): Tarefas são mais fáceis do que o previsto. Isso sinaliza familiaridade ou contaminação de dados (ex: a tarefa django-11451 teve um resíduo de -0,56 e uma taxa de sucesso de 71,8%).

Significância e Alegações

O artigo argumenta que a predição de dificuldade ex ante é uma ferramenta viável, embora imperfeita, para o design proativo de ambientes. Suas principais contribuições são:

1. Mudança Metodológica: Mover da validação empírica post-hoc para a estimativa pré-rollout, potencialmente economizando recursos computacionais significativos em domínios de longo horizonte.
2. Utilidade Diagnóstica: Demonstrar que a lacuna entre a dificuldade prevista e a observada pode servir como um filtro para identificar falhas em benchmarks, como contaminação ou tarefas inviáveis, antes de comprometer a avaliação completa.
3. Insight de Características: Estabelecer a entropia ao nível de token como um sinal preditivo superior em comparação com embeddings estáticos ou métricas simples de comprimento.
4. Rigor de Avaliação: Destacar a inadequação da AUC para a estimativa de dificuldade e advogar por métricas baseadas em rank (Spearman $\rho$, pAcc) para evitar a confusão entre a capacidade do agente e a dificuldade da tarefa.

Os autores permanecem modestos quanto ao estado atual do campo, observando que, embora o ranking dentro da distribuição seja confiável, a generalização entre benchmarks continua sendo um problema em aberto. Eles sugerem que trabalhos futuros devem focar em modelar a entropia como uma série temporal e desenvolver preditores mecanísticos para familiaridade e viabilidade da tarefa.