Resumo Técnico: SkillCoach

1. Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de habilidades (skills) — camadas operacionais reutilizáveis que codificam Procedimentos Operacionais Padrão (SOPs), regras de domínio, fluxos de ferramentas e rotinas de validação. No entanto, à medida que os repositórios de habilidades crescem, os agentes enfrentam desafios significativos na utilização confiável de habilidades dentro de ambientes realistas caracterizados por fluxos de trabalho sobrepostos e habilidades distratoras.

O problema central identificado é que o sucesso final da tarefa (passar/falhar no verificador) é um sinal insuficiente para avaliar ou treinar o uso de habilidades agênticas. Um agente pode passar em um verificador através de:

• Tentativa e erro, em vez de invocação correta da habilidade.
• Seleção de habilidades distratoras que, por coincidência, geram uma saída correta.
• Pular etapas obrigatórias ou omitir verificações de validação final.
• Composição incorreta de fluxos de trabalho.

Os métodos de avaliação existentes frequentemente assumem que, se uma habilidade existe, o agente pode usá-la corretamente. Na realidade, os agentes frequentemente falham ao selecionar a habilidade certa, seguir seus passos prescritos, compô-la com outras habilidades ou refletir sobre a saída antes da submissão. Isso leva a comportamentos frágeis que não são reutilizáveis ou escaláveis em ambientes corporativos.

2. Metodologia: Estrutura SkillCoach

Os autores propõem o SkillCoach, uma estrutura de rubrica autoevoluível projetada para avaliar e aprimorar o uso de habilidades agênticas, deslocando o foco de métricas baseadas apenas no resultado para a supervisão ao nível do processo.

2.1 Definições Principais

O SkillCoach define o Uso de Habilidade Agêntica como uma meta-capacidade de nível de trajetória composta por quatro dimensões distintas, mantidas separadas do sinal do verificador externo:

1. Seleção de Habilidade: Avaliar se o agente invoca as habilidades de ouro (gold skills) apropriadas, evitando distratores.
2. Seguimento de Habilidade: Avaliar a adesão aos procedimentos e etapas fundamentais especificados nas habilidades de ouro.
3. Composição de Habilidade: Determinar se múltiplas habilidades ou subprocessos dependentes são coordenados em um fluxo de trabalho válido.
4. Reflexão Baseada em Habilidade: Verificar a validação explícita das saídas (ex: esquema, formato, restrições) antes da submissão final.

2.2 O Processo de Rubrica Autoevoluível

O SkillCoach opera em um ciclo de três estágios para evoluir rubricas específicas de tarefas a partir de execuções (rollouts) reais de agentes:

• Estágio 1: Configuração de Ambiente e Tarefa: As tarefas são definidas como dependentes de habilidades (solúveis com habilidades de ouro, mas difíceis sem elas). O ambiente inclui habilidades de ouro e habilidades distratoras (não relacionadas ou semanticamente similares, mas inaplicáveis) para simular repositórios corporativos.
• Estágio 2: Núcleo SkillCoach (Evolução):
  • Construção Inicial: Uma rubrica base ($R_0$) é construída a partir das instruções da tarefa, habilidades de ouro e soluções de oráculo, definindo etapas-chave observáveis e requisitos de evidência.
  • Julgamento de Trajetória: As execuções reais dos agentes são pontuadas em relação à rubrica atual. Evidências são extraídas (leituras de habilidades, chamadas de ferramentas, edições de arquivos) para pontuar as quatro dimensões de meta-capacidade.
  • Evolução com Portão de Validação: Um modelo de arbitragem propõe correções locais (ex: adicionar requisitos de evidência, esclarecer casos negativos) à rubrica. Essas correções passam por um portão rígido (rejeitando mudanças destrutivas como ignorar distratores) e uma verificação de objetivo suave (melhorando a cobertura de evidências e consistência). Apenas as correções que passam na validação em execuções de teste (held-out rollouts) são aceitas.
  • Seleção: A melhor rubrica evoluída ($R_{best}$) é selecionada com base no desempenho de validação.
• Estágio 3: Usos Secundários:
  • Diagnóstico de Trajetória: Identifica falhas específicas no nível do processo (ex: seleção de habilidade errada, etapas puladas).
  • Treinamento Filtrado por Rubrica: Trajetórias de alta qualidade (aquelas que passam no verificador externo e pontuam $\ge 0,95$ na rubrica evoluída) são selecionadas para Ajuste Fino Supervisionado (SFT).

3. Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Formulação do Uso de Habilidade Agêntica: Definir o uso de habilidade como uma meta-capacidade de nível de trajetória (seleção, seguimento, composição, reflexão) distinta do sucesso final da tarefa.
2. Estrutura SkillCoach: Introduzir a primeira estrutura de rubrica autoevoluível que calibra rubricas de processo a partir de execuções reais usando julgamento baseado em evidências e atualizações com portão de validação, especificamente projetada para tarefas dependentes de habilidades com bibliotecas aumentadas por distratores.
3. Utilidade Dupla das Rubricas Evoluídas: Demonstrar que as rubricas evoluídas servem tanto como instrumentos de avaliação aprimorados (expondo falhas ocultas pela precisão final) quanto como filtros de supervisão superiores para treinamento, superando o SFT baseado apenas no resultado.

4. Resultados Experimentais

Experimentos foram conduzidos em tarefas dependentes de habilidades com bibliotecas aumentadas por distratores, comparando as rubricas iniciais ($R_0$) com as rubricas evoluídas ($R_{best}$).

• Validação da Qualidade da Rubrica:

  • Cobertura de Chaves de Ouro (Gold-Keypoint Coverage): Aumentou de 71,56% para 83,70%, indicando melhor alinhamento com a evidência de processo humana-ouro.
  • Pontuação de Usabilidade: Melhorou de 81,53 para 94,33, sugerindo critérios mais claros para juízes de LLM.
  • Taxa de Alucinação: Reduziu de 2,00% para 0,00%, confirmando que os ganhos de cobertura não introduziram restrições não suportadas.
  • Consistência de Filtragem: Melhorou de 82,00% para 96,00% contra julgamentos de trajetória humano-ouro.

• Desempenho do Uso de Habilidade Agêntica:

  • Em configurações "Ouro + Distratores", a precisão final muitas vezes mascarava falhas de processo. Por exemplo, embora os agentes tenham alcançado alta precisão final com habilidades de ouro, suas pontuações de Seleção de Habilidade caíram significativamente quando os distratores foram introduzidos (ex: Qwen3.5-9B caiu de 92,0 para 44,0).
  • A avaliação de quatro dimensões revelou que os agentes frequentemente selecionavam habilidades erradas ou pulavam etapas, mesmo quando o resultado final era correto.

• Efetividade de Treinamento (SFT):

  • O SFT Filtrado por Rubrica superou significativamente o SFT Baseado apenas no Resultado.
  • Para o Qwen3.5-9B, o SFT baseado apenas no resultado melhorou a precisão de 14,0% para 18,0%, enquanto o SFT Filtrado por Rubrica (usando $R_{best}$) a melhorou para 32,0%.
  • Estudos de ablação mostraram que o seguimento de etapas-chave foi a dimensão mais crítica para filtragem, seguido pela ordem de composição e reflexão.

• Análise de Fronteira de Distratores:

  • À medida que a biblioteca de habilidades escalou (até 50 mil distratores), os modelos exibiram dois modos de falha: degradação (queda de desempenho) e colapso (falha quase total na seleção de habilidades de ouro).
  • Modelos mais fortes (ex: GPT-5.5, Opus 4.7) retardaram a degradação e o colapso em comparação com modelos menores, mas todos eventualmente enfrentaram limites de confiabilidade em bibliotecas grandes e sobrepostas.
  • Distratores de alta similaridade causaram quedas de desempenho significativamente maiores do que distratores não relacionados, destacando a dificuldade de distinguir habilidades vizinhas próximas.

5. Significância e Alegações

O artigo postula que o uso de habilidade confiável é mensurável e treinável através da supervisão de processo baseada em habilidades.

• Além da Precisão Final: Os autores argumentam que, em ambientes corporativos, um resultado bem-sucedido não garante um agente reutilizável ou robusto. Um agente que passa em um verificador via tentativa e erro ou invocação incorreta de habilidade introduz latência, custo e riscos de conformidade.
• Supervisão de Processo: Ao separar a qualidade do processo do sinal de resultado, o SkillCoach fornece feedback acionável para diagnosticar modos de falha específicos (seleção, seguimento, composição, reflexão) em vez de apenas resultados binários de passar/falhar.
• Escalabilidade: A natureza autoevoluível das rubricas permite que elas se adaptem às complexidades de repositórios de habilidades crescentes e sobrepostos sem reengenharia manual, tornando-as adequadas para implantação industrial onde as bibliotecas de habilidades são dinâmicas.
• Sinal de Treinamento: A estrutura demonstra que filtrar dados de treinamento com base em rubricas de nível de processo produz agentes com comportamentos de uso de habilidade mais robustos do que aqueles treinados apenas no sucesso do resultado.

Os autores concluem que, embora seu trabalho seja limitado ao SFT offline e a um conjunto específico de tarefas dependentes de habilidades, a abordagem estabelece uma base para tratar o uso de habilidades como uma capacidade distinta, avaliável e otimizável em sistemas agênticos.