Resumo Técnico: SkillTV-Bench e SkillTV-Evolve

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) evoluíram de geradores de turno único para sistemas interativos capazes de tarefas de longo horizonte que envolvem o uso de ferramentas, manipulação de arquivos e interação com o ambiente. Esta mudança exige uma alteração nos paradigmas de avaliação: passando da pontuação de respostas finais para a verificação de trajetórias de execução completas. No entanto, os benchmarks de julgamento existentes frequentemente dependem de trajetórias estáticas ou respostas finais, falhando em considerar agentes aumentados por habilidades (skill-augmented agents).

Para agentes aprimorados com habilidades de tempo de tarefa (conhecimento procedural que codifica escolhas de ferramentas, fluxos de trabalho e restrições), a verificação é unicamente desafiadora. As habilidades ditam o que deve ser inspecionado e quais falhas são críticas para a tarefa. Sem acesso a essas habilidades e à capacidade de inspecionar ativamente os artefatos de execução (ex: logs, arquivos, estados de banco de dados), os juízes frequentemente interpretam mal o comportamento do agente, confiam excessivamente em saídas polidas ou perdem falhas ocultas no processo. Os benchmarks atuais raramente combinam habilidades de tempo de tarefa com ambientes diretamente inspecionáveis e cobertura multi-domínio necessária para avaliar sistematicamente a verificação de trajetória consciente de habilidades (skill-aware trajectory verification).

Metodologia

1. SkillTV-Bench: Um Benchmark de Verificação Consciente de Habilidades

Para abordar a lacuna nos benchmarks existentes, os autores introduzem o SkillTV-Bench, um benchmark projetado para a verificação de trajetória consciente de habilidades.

• Composição: O benchmark compreende 681 casos de execução derivados de 50 tarefas de origem em 11 domínios (incluindo cibersegurança, finanças, saúde, robótica e engenharia de software).
• Estrutura de Dados: Cada caso é uma tupla autossuficiente $(I, \tau, S, A)$:
  • $I$: Instrução original da tarefa.
  • $\tau$: Trajetória de execução normalizada, passo a passo.
  • $S$: O conjunto de habilidades de tempo de tarefa (task-time skills) disponíveis para o agente.
  • $A$: Artefatos de execução inspecionáveis (arquivos, logs, estados do ambiente).
• Construção: Os dados são filtrados e normalizados a partir do SkillsBench. Os casos são particionados em um conjunto de desenvolvimento (478 casos) para evolução de habilidades e um conjunto de avaliação disjunto (203 casos) para teste final.
• Diferenciação: Ao contrário dos benchmarks anteriores que focam em pares de respostas ou texto estático, o SkillTV-Bench suporta a interação agêntica, permitindo que os juízes inspecionem ativamente evidências dentro de um ambiente externo.

2. SkillTV-Evolve: Conhecimento de Verificação Externalizado

Os autores propõem o SkillTV-Evolve, um framework para melhorar o desempenho do juiz sem atualizar os parâmetros do modelo subjacente.

• Conceito de JudgeSkill: O conhecimento de verificação é externalizado como uma JudgeSkill reutilizável e legível por humanos. Esta habilidade guia um agente juiz para:
  1. Planejar: Gerar um plano de inspeção especificando o que verificar e onde encontrar evidências.
  2. Executar: Realizar inspeções direcionadas em artefatos e habilidades.
  3. Veredito: Emitir um julgamento fundamentado em evidências com uma justificativa.
• Loop de Evolução Automatizado:
  • O sistema analisa casos julgados incorretamente (falsos positivos/negativos) de um pool de desenvolvimento.
  • Ele sintetiza "briefings de reescrita" que comprimem a análise de falhas em objetivos de revisão direcionados (ex: endurecimento contra falsos positivos).
  • Um otimizador propõe revisões ao texto da JudgeSkill.
  • Portão (Gating): As revisões candidatas são avaliadas em um portão de desenvolvimento fixo de 36 casos. Uma candidata é promovida apenas se melhorar uma pontuação composta ($G$) que equilibra precisão balanceada, recall para falhas e precisão para sucessos.
• Resultado: Este processo refina iterativamente a JudgeSkill, transformando erros de julgamento em procedimentos de verificação reutilizáveis.

Principais Contribuições

1. SkillTV-Bench: Um benchmark de 681 casos abrangendo 11 domínios que suporta avaliação multi-domínio, agêntica, fundamentada em evidências e consciente de habilidades. Ele expande a cobertura de domínio, a interação agêntica e a consciência de habilidades além dos benchmarks existentes ao combinar habilidades de tempo de tarefa com artefatos inspecionáveis para avaliação de juiz.
2. SkillTV-Evolve: Um framework orientado por planejamento que externaliza o conhecimento de verificação em uma JudgeSkill. Apresenta um loop de evolução automatizado que melhora a precisão da verificação através do refinamento iterativo do texto da habilidade, sem retreinar o modelo.
3. Validação Empírica: Experimentos demonstrando que conectar a avaliação baseada no benchmark com a evolução da JudgeSkill melhora significamente tanto a verificação de trajetória quanto a seleção de rollouts subsequentes.

Resultados Experimentais

RQ1: Insights do Benchmark

O SkillTV-Bench revela fraquezas sistemáticas nos juízes existentes:

• Teto de Desempenho: Modelos de fronteira (GPT-5.2, Claude Sonnet 4.6, Gemini 3.1) alcançam acurácias balanceadas entre 0,478 e 0,586 no benchmark.
• Padrões de Erro: O modo de falha dominante é a aceitação falsa. Os juízes frequentemente aceitam trajetórias plausíveis, mas que falharam (ex: o Claude Sonnet 4.6 possui alto recall, mas baixa precisão).
• Insuficiência de Ferramentas: Fornecer meramente ferramentas aos agentes e acesso ao ambiente (sem uma JudgeSkill dedicada) resulta em uma acurácia balanceada de apenas 0,568, indicando que a interação com o ambiente sozinha não resolve o problema da verificação.

RQ2: Melhoria Baseada no Benchmark

O SkillTV-Evolve converte com sucesso os erros do benchmark em conhecimento de verificação:

• Ganho de Acurácia: A JudgeSkill refinada aumenta a acurácia balanceada do mesmo agente juiz de 0,568 para 0,634 e a acurácia geral em 14,8 pontos percentuais (de 43,8% para 58,6%).
• Cobertura de Domínio: Melhorias são observadas em 7 de 9 domínios de avaliação, com ganhos significativos em mídia/conteúdo (+36,7 pp), cibersegurança (+26,7 pp) e manufatura (+23,1 pp).
• Progresso Iterativo: A acurácia no conjunto de avaliação completo melhorou monotonicamente da versão v1 (50,8%) para a v4 (58,6%).

RQ3: Seleção de Rollout Subsequente

A verificação aprimorada traduz-se em uma melhor seleção de trajetórias bem-sucedidas em pools de rollout offline:

• Taxa de Sucesso: Com um orçamento de 10 rollouts, a JudgeSkill refinada (v4) alcança uma taxa de sucesso de trajetória selecionada de 45,5%.
• Comparação: Isso representa um ganho de 22,6 pontos percentuais sobre a linha de base de um único rollout (22,9%) e supera a melhor linha de base não-habilidade (juiz baseado em Rubrica, com 38,4%) em 7,1 pontos.
• Mecanismo: A melhoria é impulsionada por uma redução nas aceitações falsas. Ao filtrar falhas plausíveis de forma mais eficaz, o verificador preserva um pool de candidatos "mais limpo", aumentando a probabilidade de selecionar uma trajetória genuinamente bem-sucedida.

Significância e Alegações

O artigo postula que a verificação de trajetória deve ser vista não apenas como uma avaliação passiva, mas como o mecanismo que converte diversos rollouts de agentes em resultados de tarefas confiáveis.

• Mensurabilidade: O SkillTV-Bench torna o problema da verificação consciente de habilidades mensurável, exigindo que os juízes reconciliem instruções, processos, habilidades e artefatos.
• Externalizabilidade: O SkillTV-Evolve demonstra que o conhecimento complexo necessário para a verificação pode ser externalizado como um procedimento explícito e auditável (JudgeSkill) e refinado a partir de erros sem atualizar os parâmetros do modelo.
• Consequência Prática: O estudo valida que a evolução de uma JudgeSkill explícita gera ganhos consistentes na capacidade de verificação, o que se traduz diretamente em maiores taxas de sucesso na seleção de trajetórias de agentes.

Os autores observam uma limitação: o loop atual melhora o juiz, mas ainda não alimenta o feedback fundamentado em evidências de volta para o agente da tarefa para melhorar execuções futuras. Eles sugerem que fechar essa lacuna criaria um volante de dados (data flywheel) onde trajetórias verificadas expandem o benchmark e impulsionam a evolução contínua tanto do agente quanto do juiz.