Resumo Técnico: SKILLAUDIT

Formulação do Problema

O artigo aborda o desafio da evolução de habilidades para agentes de Grandes Modelos de Linguagem (LLMs) congelados em fluxos de trabalho profissionais. Embora as "habilidades de agente" (pacotes de instrução procedimental estruturada) guiem os agentes de forma eficaz, elas frequentemente se degradam após a implantação devido a mudanças em ferramentas, APIs e casos de borda.

Métodos existentes para refinar essas habilidades dependem de feedback de verdade fundamental privilegiado (privileged ground-truth feedback), tais como:

• Pontuações de validação retidas ou resultados de testes ocultos.
• Sinais de sucesso/falha de um Oráculo.
• Recompensas de ambiente ou respostas de referência de especialistas.

No entanto, em configurações de implantação realistas, os profissionais possuem apenas uma descrição da tarefa ($T$), dados do espaço de trabalho ($W$) e uma habilidade inicial ($S_0$). Eles não têm acesso a funções de pontuação externas, soluções de referência ou scripts de teste. O problema central é: Como as habilidades dos agentes podem ser melhoradas sem acesso ao feedback de verdade fundamental externa durante a otimização?

Os autores formalizam isso como um problema de otimização restrita onde o objetivo é maximizar a recompensa latente da tarefa $R(\tau)$ sujeito a uma restrição livre de verdade fundamental ($C_{gtf}$), que proíbe o acesso a $R$ ou seus substitutos em qualquer ponto durante o loop de evolução.

Metodologia: SKILLAUDIT

Os autores propõem o SKILLAUDIT, um framework que evolui habilidades usando apenas a descrição da tarefa, dados do espaço de trabalho e traços de execução. O mecanismo central é a Auditoria de Trajetória Pareada, que isola o impacto específico de uma habilidade comparando duas execuções da mesma tarefa:

1. Com-habilidade ($\tau_w$): O agente executa a tarefa com a habilidade candidata injetada.
2. Sem-habilidade ($\tau_{wo}$): O agente executa a mesma tarefa sem a habilidade.

O sistema deriva sinais de otimização a partir da divergência comportamental entre essas duas trajetórias. A arquitetura consiste em quatro componentes principais:

1. Auditoria de Trajetória Pareada & PACE

Diferenças brutas de trajetória são insuficientes para edição. Para convertê-las em orientação acionável, o SKILLAUDIT utiliza a Avaliação Contrastiva Alinhada ao Processo (PACE). O PACE é um conjunto de 12 avaliadores operando em quatro dimensões:

• Aderência ao Processo: O agente seguiu as etapas prescritas pela habilidade?
• Evidência de Artefato: Os arquivos de saída atendem às restrições declaradas na habilidade?
• Consistência: O fluxo de trabalho da habilidade corresponde ao esquema de dados da tarefa?
• Delta de Eficácia: A trajetória com a habilidade supera a trajetória sem a habilidade nos pontos de divergência?

Crucialmente, o PACE gera sinais diagnósticos ancorados em segmentos. Em vez de um "passou/falhou" global, ele identifica passagens específicas no documento da habilidade que causaram uma mudança de comportamento (ex: "Com este parágrafo, o agente tomou uma ação errada no passo X").

2. Verificador de Âncora (Anchor Verifier)

Para evitar o desvio do avaliador e garantir a integridade estrutural, um verificador estrutural é compilado uma única vez a partir da especificação da tarefa ($T$) e permanece fixo para toda a evolução. Ele codifica restrições rígidas deriváveis apenas de $T$ e $W$ (ex: existência de arquivos, conformidade de formato, valores recalculáveis).

• Papel: Atua como um portão determinístico. Se uma atualização causar a falha do Verificador de Âncora, a atualização é incondicionalmente revertida, independentemente dos sinais suaves do PACE.

3. Evolução de Estratégia Dupla

Com base em uma avaliação inicial de compatibilidade entre $S_0$ e $T$, o sistema direciona a tarefa para um de dois pipelines:

• Pipeline de Refinamento (Refine): Para habilidades que são amplamente eficazes, mas contêm ruído, redundância ou lacunas menores. A estratégia é subtração primeiro: remover conteúdo de distração enquanto protege segmentos que "ajudam".
• Pipeline de Reparo (Repair): Para habilidades onde o fluxo de trabalho central conflita com a tarefa ou induz o agente ao erro de forma ativa. A estratégia é a substituição baseada em diagnóstico: localizar passagens prejudiciais e substituí-las por orientação correta (potencialmente derivada da trajetória sem a habilidade).

4. Lógica de Decisão

Em cada iteração, o sistema agrega sinais do PACE e verificações do Verificador de Âncora para produzir um veredito de três vias:

• Ajudou (Helped): Confirma a atualização.
• Prejudicou (Hurt): Reverte imediatamente (vetado se qualquer avaliador reportar um sinal de "prejuízo").
• Inerte (Inert): Adia para a próxima iteração.

O loop termina quando a habilidade atinge um estado estável (sem vereditos de "prejuízo" em iterações recentes, o verificador passa e não restam alvos acionáveis).

Principais Contribuições

1. Evolução de Habilidade Livre de Verdade Fundamental: A formulação da evolução de habilidades sob a restrição realista $C_{gtf}$, onde não há testes ocultos, soluções de referência ou sinais de oráculo disponíveis.
2. Auditoria de Trajetória Pareada: Um mecanismo para derivar sinais de otimização isolando o efeito da habilidade no comportamento do agente através de execução contrastiva controlada.
3. Diagnóstico Alinhado ao Processo: O desenvolvimento do PACE, que mapeia divergências de trajetória para passagens específicas da habilidade, combinado com um Verificador de Âncora fixo para garantir estabilidade estrutural.
4. Roteamento de Estratégia Dupla: Um mecanismo que distingue entre habilidades que precisam de redução de ruído (Refine) e aquelas que precisam de substituição do núcleo (Repair).

Resultados Experimentais

O framework foi avaliado em 89 tarefas conteinerizadas em 8 domínios profissionais (incluindo Engenharia de Software, Ciências Naturais e Finanças) usando o benchmark SkillsBench.

• Desempenho: O SKILLAUDIT alcançou uma recompensa média de tarefa de 73,9%.
• Comparações:
  • Superou o agente sem habilidades (40,9%) em +33,0 pontos percentuais.
  • Superou a habilidade especialista estática incluída no benchmark (56,7%) em +17,2 pontos percentuais.
• Variância de Domínio: O sistema mostrou os maiores ganhos em Engenharia de Software (+38,5 pp) e Escritório & Colarinho Branco (+26,7 pp). Em Finanças e Economia, igualou a linha de base estática, mas não a excedeu.
• Recuperação: O sistema recuperou com sucesso 43% das tarefas onde a habilidade inicial falhou (recompensa < 0,5) e protegeu perfeitamente 92% das tarefas onde a habilidade inicial já estava funcionando.

Significância e Limitações

O artigo afirma que o SKILLAUDIT demonstra que as habilidades dos agentes podem ser melhoradas autonomamente sem verdade fundamental externa, desde que a correção da tarefa deixe um traço estrutural observável.

• Fronteira de Observabilidade: Os autores identificam que o sucesso é governado pela observabilidade, não pelo domínio. Habilidades que codificam "conhecimento executável e observável" (ex: uso de API, fórmulas matemáticas) evoluem bem porque erros produzem traços visíveis (rastros de pilha, números errados). Por outro lado, habilidades que codificam "procedimentos de domínio" (onde remover um passo não deixa um traço estrutural) são difíceis de evoluir sem verdade fundamental.
• Natureza das Edições: A análise revela que a evolução bem-sucedida tende a transformar habilidades de "tutoriais" em "contratos de execução observáveis por verificadores". Isso geralmente envolve a poda de conteúdo fora do domínio, a des-hardcoding de caminhos e a adição de contratos de I/O ausentes.
• Alegações Modestas: Os autores reconhecem que o sistema não pode sintetizar conhecimento de domínio ausente se o auditor não puder verificar o resultado (ex: não pode corrigir um modelo financeiro se não puder verificar a correção do número, apenas a existência do arquivo). O sistema recupera falhas tornando o contrato da habilidade observável, não inventando novo conhecimento de domínio.

Em resumo, o SKILLAUDIT fornece um caminho prático para manter e evoluir as habilidades dos agentes em implantações do mundo real onde a infraestrutura de validação externa não está disponível, baseando-se, em vez disso, na consistência interna e nas restrições estruturais da própria tarefa.