Resumo Técnico: Aproveitando Agentes LLM com Programas de Habilidade (HASP)

1. Declaração do Problema

Embora agentes de Modelos de Linguagem de Grande Escala (LLM) tenham demonstrado capacidade crescente em planejamento e interação com ambientes, eles frequentemente exibem padrões recorrentes de falha, como encerramento antes da verificação, comprometimento com conclusões intermediárias frágeis ou repetição de ações improdutivas. Abordagens existentes para mitigar essas falhas frequentemente dependem de habilidades textuais derivadas de experiências passadas. Essas habilidades são tipicamente injetadas em prompts ou usadas como orientação consultiva. No entanto, o artigo argumenta que habilidades textuais sofrem de três limitações centrais:

1. Natureza Consultiva: Elas expressam o que um agente deve fazer em princípio, mas carecem de mecanismos explícitos para quando ativar ou como intervir dentro do loop de política.
2. Controle Fraco: Elas são frequentemente ignoradas pelo modelo na prática, falhando em alterar de forma confiável o comportamento do agente.
3. Falta de Executabilidade: Há uma lacuna entre experiência reutilizável expressa em linguagem e experiência reutilizável que pode controlar explicitamente as ações do agente.

O desafio central é preencher essa lacuna transformando lições textuais passivas em mecanismos ativos e executáveis que possam intervir diretamente no processo de tomada de decisão do agente.

2. Metodologia: O Framework HASP

Os autores introduzem HASP (Aproveitando Agentes LLM com Programas de Habilidade), um framework que eleva habilidades de texto passivo para Funções de Programa (PFs). Uma PF é definida como uma função de intervenção estado-ação reutilizável e executável.

Componentes Principais

• Funções de Programa (PFs): Diferentemente de lembretes em linguagem natural, as PFs são módulos Python executáveis com duas interfaces distintas:
  • should_activate(state, action): Um predicado determinístico que decide se a habilidade é relevante para o estado atual e a ação proposta.
  • intervene(state, action, teacher): Retorna uma intervenção estruturada, que pode ser:
    • Modify_Action: Reescrever ou refinar a próxima ação (por exemplo, encurtar uma consulta de pesquisa superconstrita).
    • Inject_Context: Anexar texto corretivo à observação do agente (por exemplo, um aviso sobre confusão de entidades).
    • NOOP: Abster-se de alterações enquanto registra um registro de auditoria.
• Biblioteca de Habilidades: Uma coleção de PFs validadas. Novos candidatos são gerados a partir de casos de falha, passam por validação de sintaxe e interface, e são revisados por um modelo professor antes da admissão.
• O Harness (Cinto de Controle): Uma camada de controle externa que envolve a política base do agente ($\pi_\theta$). Em cada etapa, o harness recupera PFs relevantes, avalia seus predicados de ativação, executa intervenções válidas e alimenta a ação revisada ou o contexto injetado de volta no loop.

Três Modos Operacionais

O HASP é projetado para ser altamente modular, suportando três paradigmas distintos:

1. Intervenção em Tempo de Inferência: As PFs atuam como guardrails executáveis em tempo de execução. Elas são acionadas autonomamente com base no estado do agente para modificar ações ou injetar contexto sem atualizar os pesos do modelo. Um professor auxiliar opcional pode ajudar a selecionar a PF mais apropriada quando existem múltiplos candidatos.
2. Pós-Treinamento (Internalização): As execuções de PF geram registros estruturados contendo a ação original, o reparo da PF e o resultado. Esses registros são pontuados usando quatro sinais: Timing (quando), Mode (como), Correctness (qualidade) e Outcome (efetividade). Essas pontuações orientam o pós-treinamento via:
   • Ajuste Fino Supervisionado (SFT): Treinamento em ações corrigidas.
   • Amostragem por Rejeição (RS): Seleção de trajetórias que correspondem a correções guiadas por PF e alcançam sucesso na tarefa.
   • Distorção em Política (OPD): Treinamento do estudante em seus próprios estados onde as PFs intervieram.
3. Evolução de Auto-Melhoria: O sistema revisita falhas residuais sob o checkpoint atual, resume padrões recorrentes de falha-reparo em PFs candidatas e atualiza a biblioteca de habilidades externa após validação executável estrita e revisão do professor. Isso fecha o loop entre execução, aprendizado e crescimento da biblioteca.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Habilidades como Funções de Estado-Ação Executáveis: A transformação de experiência de agente reutilizável em Funções de Programa executáveis que são acionadas sob demanda e intervêm explicitamente, indo além de habilidades textuais passivas.
2. Um Framework Modular de Harness de Agente: A proposta do HASP, que suporta acionamento e intervenção controláveis de PFs através dos paradigmas apenas de inferência, pós-treinamento e auto-melhoria.
3. Desempenho Empírico Sólido: Demonstração de ganhos substanciais sobre baselines competitivas em raciocínio de pesquisa na web, raciocínio matemático e tarefas de codificação.

4. Resultados Experimentais

Os autores avaliaram o HASP em HotpotQA, 2Wiki e MuSiQue (pesquisa na web), AIME24, AMC23 e GameOf24 (matemática) e HumanEval, MBPP e BigCodeBench (codificação). O modelo base foi Qwen2.5-7B-Instruct.

Principais Descobertas

• Ganhos em Tempo de Inferência: Mesmo sem atualizações do modelo, a intervenção apenas com PF superou significativamente as baselines.
  • No raciocínio de pesquisa na web, a intervenção apenas com PF melhorou a precisão média para 51,0% (vs. 20,5% para Habilidades Apenas com Prompt e 31,2% para a baseline multi-loop ReAct).
  • Adicionar um professor auxiliar para seleção de PF aumentou ainda mais a precisão de pesquisa na web para 56,2%.
  • Na codificação, apenas PF atingiu 63,4% pass@1, subindo para 68,7% com seleção por professor.
• Internalização Pós-Treinamento: A supervisão derivada de PF permitiu que o modelo internalizasse comportamentos sem aprendizado por reforço completo.
  • Na pesquisa na web, Distorção em Política (OPD) atingiu 62,5%, e Amostragem por Rejeição (RS) alcançou 59,3% sob uma biblioteca fixa.
  • Esses resultados foram competitivos ou superiores a esquemas padrão de SFT e treinamento baseado em habilidades.
• Evolução em Loop Fechado: A evolução controlada da biblioteca de habilidades melhorou ainda mais o desempenho.
  • HASP-Evolve + RS atingiu 60,3% na pesquisa na web e 45,4% no raciocínio matemático.
  • Na codificação, atingiu 69,9% pass@1, superando o SFT puro em 12,4% e permanecendo competitivo com métodos baseados em GRPO.
• Análise de Mecanismos:
  • Tipos de Intervenção: 65,1% das intervenções foram modificações em nível de ação (por exemplo, reescrever consultas), enquanto 34,9% foram injeções de contexto.
  • Importância dos Sinais: Estudos de ablação mostraram que todos os quatro sinais de supervisão (Timing, Mode, Correctness, Outcome) foram necessários. Remover "Mode" causou a maior queda (-15,5%), indicando que como uma intervenção é aplicada é tão crítico quanto quando.
  • Necessidade de Filtragem: A filtragem estrita (validação executável + revisão do professor) foi essencial. A evolução não filtrada causou uma queda acentuada no desempenho (-24,0%), confirmando que a poluição da biblioteca degrada o desempenho do agente.

5. Significado e Alegações

O artigo posiciona o HASP como um caminho complementar para melhorar agentes LLM. Os autores afirmam que:

• Estabilização sobre Descoberta: As PFs ajudam a trazer à tona e estabilizar estratégias úteis que o modelo frequentemente consegue executar, mas não aplica de forma confiável. Isso contrasta com a exploração no estilo de RL, que é mais adequada para descobrir estratégias fundamentalmente novas.
• Controle Explícito: Ao converter habilidades em código executável, o HASP fornece controle explícito e auditável sobre o comportamento do agente, abordando a fraqueza "consultiva" das habilidades baseadas em prompts.
• Modularidade: O framework desacopla a definição de habilidade do objetivo de treinamento, permitindo que as mesmas PFs sejam usadas para intervenção em tempo de execução, treinamento supervisionado ou auto-melhoria.

Os autores permanecem modestos quanto às limitações, observando que as PFs ajudam principalmente a absorver estratégias existentes em vez de descobrir novas, que o framework depende de sinais de verificação claros (limitando a aplicabilidade a tarefas abertas) e que a auto-melhoria requer filtragem estrita para evitar degradação da biblioteca. Eles concluem que, embora uma exploração mais ampla no estilo de RL possa ainda ser necessária para a descoberta de novas estratégias, as PFs oferecem um mecanismo robusto para refinar e estabilizar o comportamento do agente em tarefas complexas e de longo horizonte.