Resumo Técnico: Evidências sobre Planos: Verificação Online de Trajetória para Destilação de Habilidades

Declaração do Problema

Embora agentes de Modelos de Linguagem de Grande Escala (LLM) possam melhorar as taxas de sucesso em tarefas usando habilidades procedurais escritas por humanos, a qualidade dessas habilidades é difícil de avaliar sem verificação fundamentada no ambiente. Os métodos existentes de geração de habilidades frequentemente dependem de registros de preferência ou planos anteriores, em vez de interação direta com o ambiente. Isso leva a um gargalo fundamental: as habilidades são frequentemente "baseadas em planos anteriores", o que significa que codificam heurísticas genéricas ou a intenção inicial do modelo, em vez de evidências empíricas descobertas durante a execução. Consequentemente, esses métodos frequentemente produzem ganhos negligenciáveis ou até degradados ao transferir habilidades entre modelos de diferentes capacidades, pois carecem das restrições específicas, dependências e modos de falha que só emergem durante a execução real da tarefa.

Metodologia: SPARK e PDI

Os autores propõem o SPARK (Pipelines Estruturados para Tarefas Executáveis Autônomas e Geração de Habilidades), um framework projetado para gerar habilidades fundamentadas em evidências verificadas pelo ambiente e analisar a qualidade das trajetórias das quais são destiladas.

1. O Pipeline SPARK

O SPARK opera através de dois pipelines interconectados:

• Pipeline de Geração de Habilidades: Um agente "professor" interage com um ambiente Dockerizado por até $N_{max}$ tentativas.
  • Memória de Exploração: Em vez de carregar registros brutos, o agente mantém uma "memória de exploração" estruturada que resume tentativas, comandos, fatos verificados, padrões de erro atuais e próximas estratégias. Essa memória é reescrita (não acrescida) após cada falha para evitar a diluição do contexto.
  • Montagem de Evidências: Ao obter sucesso, o sistema monta seis blocos estruturados de evidências: Padrão da Tarefa, Cadeia de Execução, Registros de Verificação, Lições (padrões de falha), Contexto do Ambiente e Cauda de Suporte Bruto.
  • Destilação: Esses blocos são destilados em um documento SKILL.md reutilizável.
• Pipeline de Construção de Tarefas: Para garantir avaliação rigorosa, o SPARK converte prompts em linguagem natural em blueprints de tarefas estruturados. Estes passam por crítica iterativa, reparo e verificação determinística de oráculo (usando pytest) para criar instâncias de benchmark autocontidas e executáveis.

2. O Índice de Destilação Posterior (PDI)

Para quantificar se uma habilidade está fundamentada em evidências posteriores (interação com o ambiente) e não em planos anteriores, os autores introduzem o Índice de Destilação Posterior (PDI). O PDI é uma métrica ao nível da trajetória calculada como uma combinação linear de peso igual de três sinais normalizados por escore-z:

1. Fundamentação na Execução ($\phi_{exec}$): Mede a similaridade distribucional entre os comandos de execução bem-sucedidos do agente e a habilidade final. Valores altos indicam que a habilidade foca em operações verificadas pelo ambiente.
2. Cópia de Plano ($\phi_{plan}$): Mede a similaridade entre as seções "Próxima Estratégia" da memória de exploração e a habilidade final. Valores baixos são desejáveis, indicando que a habilidade diverge dos planos iniciais do agente e incorpora novas evidências.
3. Ossificação da Memória ($\phi_{oss}$): Mede a estabilidade dos "Fatos Verificados" e dos conjuntos de testes falhos ao longo das tentativas. Valores baixos são desejáveis, indicando que a compreensão do agente evoluiu em vez de repetir os mesmos padrões de falha (estagnação cognitiva).

$$PDI = z(\phi_{exec}) - z(\phi_{plan}) - z(\phi_{oss})$$

3. Intervenção Online

Uma inovação chave é o uso de um proxy do PDI como um sinal de diagnóstico online. Durante a exploração de habilidades, se o proxy-PDI cair abaixo de um limiar, o SPARK dispara intervenções:

• Intervenção Suave: Incentiva uma revisão mais ampla das hipóteses.
• Intervenção Forte: Retém a estratégia anterior e força o agente a ancorar-se em fatos verificados e padrões de erro, impedindo que o agente persista com um plano desatualizado.

Contribuições Principais

1. Métrica Verificada por Trajetória (PDI): Uma métrica principiante e interpretável que distingue habilidades fundamentadas em evidências do ambiente daquelas baseadas em planos anteriores não verificados. Fornece uma avaliação mecanicista de quais trajetórias produzem habilidades transferíveis.
2. Geração Transparente de Habilidades (SPARK): Um framework que preserva registros de execução, sinais de verificador e históricos de memória, permitindo análise completa ao nível da trajetória e tornando o processo de destilação analisável.
3. Mecanismo de Intervenção Online: Um método para usar proxies de PDI para monitorar e intervir durante o processo de exploração de habilidades, melhorando ativamente a qualidade das habilidades geradas antes que a destilação esteja completa.
4. Benchmark de Trajetória: Um conjunto de dados de 86 tarefas executáveis (estendidas para 300 variantes) com rastros completos de execução, sinais de verificador e habilidades destiladas, permitindo a avaliação da transferência de habilidades através de interações com o ambiente.

Resultados Experimentais

Os autores avaliaram o SPARK em 86 tarefas do benchmark SkillsBench e 300 variantes de tarefas geradas, bem como no ambiente ALFWorld.

• Ganhos de Desempenho: As habilidades geradas pelo SPARK superaram consistentemente tanto as linhas de base "sem habilidade" quanto as habilidades escritas por humanos em sete modelos estudantes (variando de GPT-5.4-nano a DeepSeek-Chat). Notavelmente, pequenos modelos estudantes equipados com habilidades SPARK frequentemente superaram o desempenho sem auxílio de modelos professores fortes usados para gerar as habilidades.
• Eficiência de Custos: Embora a exploração do professor seja cara, as habilidades destiladas permitem que modelos estudantes mais fracos resolvam tarefas a um custo de inferência até 1.000× mais barato que o custo de exploração do professor.
• Poder Preditivo do PDI:
  • Há uma correlação positiva significativa ($\rho \approx 0,36$) entre PDI e ganho de habilidade.
  • Habilidades de trajetórias de alto PDI alcançaram as maiores taxas de ganho de aprovação.
  • "Cópia de plano" (alto $\phi_{plan}$) combinada com baixa fundamentação na execução resultou em ganhos próximos de zero ou negativos, confirmando que resumir planos sem evidências é ineficaz.
  • "Ossificação da memória" (alto $\phi_{oss}$) correlacionou-se negativamente com a qualidade da habilidade, indicando que a estagnação cognitiva prejudica a transferência.
• Intervenção Online: Estudos de ablação mostraram que habilitar a intervenção online guiada por PDI melhorou significativamente as taxas de aprovação a jusante (por exemplo, aumentando a taxa de aprovação do DeepSeek-Chat de 9,1% para 42,4% em subconjuntos específicos).
• Generalização: As habilidades do SPARK generalizaram-se através de variantes de tarefas e até para o ambiente ALFWorld fora da distribuição, melhorando as taxas de sucesso de 16,7% para 40,0%.

Significado e Alegações

O artigo argumenta que o conhecimento procedural eficaz para agentes deve ser baseado em posterior, o que significa que deve codificar restrições e modos de falha descobríveis apenas através da interação com o ambiente. Os autores afirmam que:

• O Timing é Crítico: Habilidades robustas devem ser destiladas de interação empírica e não de planos anteriores.
• Evidências sobre Planos: A qualidade de uma habilidade é determinada por sua fundamentação em evidências verificadas, não pela complexidade do plano inicial do agente.
• Transferibilidade: Ao usar o PDI para filtrar e guiar a destilação, o SPARK produz habilidades que são eficientes, transferíveis e capazes de permitir que modelos mais fracos superem modelos mais fortes que carecem dessas percepções específicas e fundamentadas no ambiente.
• Compreensão Mecanicista: O framework vai além da geração de habilidades de caixa-preta, fornecendo uma compreensão mecanicista de por que algumas trajetórias produzem habilidades úteis (exploração divergente, baixa ossificação) enquanto outras não.

Os autores concluem que a geração autônoma de habilidades funciona mais efetivamente quando o agente aprende com o ambiente como um pré-requisito, e não como um pensamento posterior, para produzir conhecimento vital que agentes futuros podem herdar e executar de forma verificável.