Resumo Técnico: HALO – Uma Abordagem Supervisionada para Planejamento de Ponta a Ponta em PDDL com Agentes LLM

1. Definição do Problema

O planejamento automatizado requer a tradução de objetivos em linguagem natural para especificações formais da Linguagem de Definição de Domínio de Planejamento (PDDL), que podem ser processadas por solvers clássicos. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma ponte entre a linguagem natural e representações formais, eles são pouco confiáveis quando usados isoladamente, frequentemente alucinando predicados, codificando incorretamente restrições ou produzindo planos inválidos.

Frameworks agênticos recentes (ex: La Malfa et al. [2026]) abordam isso orquestrando um pool de agentes de reparo especializados dentro de um loop de refinamento verificado por um verificador. Nesses sistemas, um LLM de "fronteira" (ex: GPT-5, Gemini-3) atua como o orquestrador, inspecionando o estado atual (PDDL, logs do solver, erros do validador) e selecionando o agente de reparo apropriado em cada etapa. Embora eficaz, essa abordagem cria um gargalo significativo: o próprio orquestrador exige uma chamada de API custosa a um LLM de fronteira em cada etapa de refinamento. Essa dependência limita a implantação a cenários com acesso contínuo a APIs, tornando o framework proibitivamente caro para ambientes de escala laboratorial, de borda (edge) ou isolados (air-gapped).

O desafio central abordado por este artigo é: É possível substituir o orquestrador de LLM de fronteira por um modelo pequeno, servido localmente, sem sacrificar as taxas de sucesso do planejamento?

2. Metodologia: HALO

Os autores propõem o HALO (Hybrid Agent-Learned Orchestrator), um sistema que substitui o orquestrador de fronteira baseado em prompt por uma política treinada via QLoRA pareada com uma camada de regras codificadas (hardcoded).

2.1 O Sinal de Treinamento: Trajetórias Guiadas por Verificador

Um insight fundamental do artigo é que o verificador externo (compilador e validador) já fornece um forte sinal de supervisão. No framework agêntico, uma trajetória de refinamento é uma sequência de decisões (estado, agente). Se a trajetória termina em um plano válido (certificado pelo verificador), cada decisão dentro dessa trajetória é implicitamente "correta" no sentido de que contribuiu para um resultado bem-sucedido.

• Coleta de Dados: Os autores executam um professor fortemente instruído (GPT-5-mini) em problemas de treinamento em 11 domínios PDDL.
• Filtragem: As trajetórias são filtradas estritamente pelo verificador externo. Apenas aquelas que terminam em um plano válido são retidas.
• Supervisão: O conjunto de treinamento consiste em pares (estado, agente) extraídos dessas trajetórias verificadas. A política é treinada via ajuste fino supervisionado (SFT) para prever o ID do agente que o professor selecionou, condicionado ao estado.

2.2 Espaço de Ação Expandido

O framework expande o pool de agentes de 13 para 21 agentes, categorizados como:

1. Agentes de Linha de Base (13): Rotinas de reparo baseadas em prompts de LLM (ex: corretor de sintaxe, removedor de alucinações) de trabalhos anteriores.
2. Agentes Determinísticos de Reparo de Plano (5): Rotinas não baseadas em LLM (ex: troca de variáveis, reordenação de ações, remoção de redundâncias) que rodam em milissegundos com custo zero de LLM.
3. Agentes LLM Cientes de PDDL (3): Agentes especializados para erros de modelagem (ex: correções de hierarquia de tipos, generalização de predicados).

2.3 Política de Inferência Híbrida

No tempo de inferência, o HALO opera como uma política de duas camadas ($\pi_{hybrid}$):

• Camada 1 (Regras Codificadas): Três casos trivialmente decidíveis são resolvidos por regras sem invocar um modelo:
  • Cold start (PDDL vazio) $\rightarrow$ Selecionar AgentEmergency.
  • Erros de sintaxe detectados $\rightarrow$ Selecionar AgentSyntaxPDDL.
  • Plano válido alcançado $\rightarrow$ Selecionar NoOpAgent (terminar).
• Camada 2 (Política Aprendida): Se nenhuma regra se aplica, um LLM pequeno, ajustado via QLoRA (ex: Llama-3-8B), prevê o próximo ID do agente. O modelo é ajustado para produzir um único token correspondente ao ID do agente (0–20).

2.4 Detalhes do Treinamento

• Arquitetura: Ajuste fino via QLoRA (quantização de 4 bits, rank LoRA 16) em modelos base como Llama-3-8B, Qwen-2.5-7B e Gemma-2-9B.
• Função de Perda: Cross-entropy de token único no ID do agente, com tokens de prompt mascarados.
• Volume de Dados: Aproximadamente 12.000–15.000 pares (estado, agente) derivados de ~2.000 trajetórias de alta qualidade aceitas pelo verificador.

3. Principais Contribuições

1. HALO (Hybrid Agent-Learned Orchestrator): Um orquestrador treinado que substitui a chamada de API de um LLM de fronteira pela inferência de um modelo pequeno e servido localmente. Ele iguala ou excede o desempenho dos baselines GPT-5-mini e Gemini-3-Flash enquanto reduz os custos de orquestração em mais de uma ordem de magnitude.
2. Supervisão de Trajetória Guiada por Verificador: Os autores formulam o treinamento do orquestrador como aprendizagem por imitação em trajetórias certificadas por um compilador/validador externo. O verificador atua como um filtro de aceitação de dados, em vez de uma função de perda, fornecendo um sinal de supervisão forte e livre de ruído que generaliza entre domínios.
3. Espaço de Ação Expandido com Política Híbrida: A introdução de 21 agentes (incluindo rotinas de reparo determinísticas) e uma política híbrida que delega decisões triviais para regras codificadas. Isso permite que a política aprendida foque sua capacidade em decisões genuinamente ambíguas, melhorando a eficiência e reduzindo a carga de treinamento.

4. Resultados Experimentais

O sistema foi avaliado em 11 domínios PDDL abrangendo os benchmarks PlanBench, Google Natural Plan e Classical Planning.

• Taxa de Sucesso:
  • O HALO iguala ou excede o baseline de prompt GPT-5-mini em todas as famílias (ex: +3,3% no PlanBench, +37,3% no Natural Plan).
  • O HALO situa-se dentro de 3 pontos percentuais do baseline mais forte Gemini-3-Flash no PlanBench e Natural Plan, e excede-o no Classical planning (95,8% vs 93,0%).
• Eficiência e Custo:
  • Chamadas de LLM: O HALO reduz o total de chamadas de LLM por episódio em 40–50% em comparação aos baselines, principalmente devido à camada de regra híbrida que resolve ~35% das decisões sem uma chamada de modelo.
  • Custo: O custo de orquestração cai de ~$0,18–$0,22 por tarefa (GPT-5-mini) e ~$0,06–$0,08 (Gemini-3-Flash) para $0,004 por tarefa para o HALO. Isso representa uma redução de 45× contra o GPT-5-mini e uma redução de 15× contra o Gemini-3-Flash.
• Generalização: O modelo generaliza para domínios não vistos com uma queda de desempenho de apenas ~5–8 pontos percentuais, sugerindo que o sinal aprendido captura padrões de orquestração gerais de domínio em vez de memorizar atalhos específicos.

5. Significância e Alegações

O artigo alega que frameworks agênticos construídos em torno de verificadores formais admitem uma simplificação estrutural: o orquestrador não precisa ser um LLM de fronteira generalista. Em vez disso, pode ser um modelo pequeno, servido localmente e treinável, desde que o verificador forneça sinais de aceitação por trajetória.

Esta descoberta tem implicações significativas para a implantação:

• Desacoplamento de APIs: Remove a dependência de acesso contínuo a APIs caras de LLMs de fronteira.
• Acessibilidade: Torna o planejamento de ponta a ponta em linguagem natural viável para configurações de escala laboratorial, de borda (edge) e isoladas (air-gapped), onde o acesso à API é impraticável ou proibido.
• Eficiência de Custo: Demonstra que um planejamento de alta qualidade pode ser alcançado a uma fração do custo (aproximadamente 45× mais barato) ao aproveitar a supervisão "gratuita" inerente ao loop de verificação.

Os autores observam limitações, incluindo a dependência do comportamento do professor (limitada pelas trajetórias filtradas pelo verificador) e a incapacidade de lidar com extensões de PDDL fora do escopo dos 21 agentes (ex: fluentes numéricos). No entanto, eles postulam que esta abordagem supervisionada serve como um forte baseline, com trabalhos futuros potencialmente explorando Aprendizagem por Reforço a partir de Recompensas Verificáveis (RLVR) para romper o "teto do professor".