Resumo Técnico: FaSTA∗: Agente de Trajetória Rápida-Lenta com Mineração de Subrotinas para Edição de Imagem Multi-turno Eficiente

Declaração do Problema

A edição de imagem multi-turno exige a aplicação de uma sequência de operações heterogêneas (por exemplo, detecção, segmentação, inpainting, recoloração) a uma única imagem com base em instruções complexas em linguagem natural. Embora os agentes existentes de Modelos de Linguagem de Grande Escala (LLM) se destaquem no planejamento de alto nível, eles frequentemente subestimam ou superestimam o custo e a qualidade de ferramentas de IA específicas, levando a trajetórias de ferramentas subótimas ou alucinações (por exemplo, selecionar um modelo de difusão caro quando um filtro simples seria suficiente). Por outro lado, a busca clássica $A^*$ pode encontrar trajetórias de ferramentas ótimas e verificáveis, mas é computacionalmente cara e carece da capacidade de aprender com experiências passadas para acelerar o planejamento futuro. Trabalhos anteriores, como o CoSTA∗, combinaram o planejamento de LLM com a busca $A^*$, mas permaneceram um gargalo computacional devido à exploração repetida e dispendiosa das mesmas subtarefas sem reutilizar conhecimento aprendido.

Metodologia: FaSTA∗

O FaSTA∗ é um agente neurosimbólico projetado para abordar essas ineficiências, integrando a mineração de subrotinas online com um framework de planejamento adaptativo rápido-lento. O sistema opera sob a premissa de que os humanos aprendem ações reutilizáveis a partir de experiências passadas; o FaSTA∗ imita isso extraindo e refinando continuamente subrotinas simbólicas a partir de trajetórias de ferramentas bem-sucedidas.

1. Raciocínio Indutivo Online e Mineração de Subrotinas

Diferentemente de abordagens restritas apenas ao tempo de teste, o FaSTA∗ emprega um loop de aprendizado online para construir uma Tabela de Regras de Subrotina.

• Registro de Dados: O agente registra rastros de execução detalhados ($\tau$) para cada subtarefa, incluindo o caminho de ferramenta percorrido, características de contexto (por exemplo, tamanho do objeto via YOLO, propriedades de máscara via SAM, complexidade de fundo inferida por LLM), custos de execução e resultados de qualidade.
• Refinamento Periódico: A cada $K$ tarefas (por exemplo, $K=20$), o sistema aciona um ciclo de refinamento. Um LLM realiza raciocínio indutivo sobre o lote recente de rastros para identificar sequências recorrentes e bem-sucedidas de ferramentas (subrotinas) e as condições contextuais específicas nas quais elas performam bem.
• Geração de Regras Simbólicas: O LLM sintetiza regras simbólicas compactas que mapeiam subtarefas e características de contexto para subrotinas custo-efetivas. Por exemplo: Se o tamanho_do_objeto for "Não Muito Pequeno" e o fundo for "Textura Simples", então use YOLO $\to$ SAM $\to$ SD Inpaint para Remoção de Objeto.
• Verificação: Regras propostas passam por uma verificação rigorosa em conjuntos de dados de teste especializados. Uma pontuação de "Benefício Líquido" equilibra a redução de custos contra a degradação de qualidade. Apenas regras que melhoram o compromisso custo-qualidade são integradas à tabela de regras, com um mecanismo de nova tentativa para refinamento se as propostas iniciais falharem.

2. Planejamento Adaptativo Rápido-Lento

O FaSTA∗ executa tarefas usando uma estratégia de planejamento em dois níveis:

• Planejamento Rápido (Padrão): Para cada subtarefa em um plano de alto nível gerado por um LLM, o agente primeiro tenta selecionar uma subrotina pré-aprendida da Tabela de Regras de Subrotina com base no contexto da imagem atual. Essa seleção é imediata e evita a busca.
• Planejamento Lento (Fallback): Se nenhuma subrotina aplicável existir, ou se a saída da subrotina selecionada falhar em uma verificação de qualidade de um Modelo de Linguagem Visual (VLM), o agente aciona uma fase de "planejamento lento". Isso envolve uma busca $A^*$ localizada no subgrafo de ferramentas de baixo nível para aquela subtarefa específica, a fim de encontrar um caminho ótimo.
• Fluxo de Execução: O sistema prioriza o plano rápido. A busca $A^*$ dispendiosa é invocada apenas preguiçosamente quando o plano rápido falha ou está indisponível, reduzindo significativamente o tempo médio de execução.

Principais Contribuições

1. Memória de Subrotina Simbólica: O artigo introduz um método para LLMs aprenderem subrotinas reutilizáveis como regras simbólicas a partir de rastros de execução. Isso transforma o agente de um planejador sem estado para um com memória aprendível, permitindo que ele generalize padrões bem-sucedidos entre diversas tarefas.
2. Planejamento Adaptativo Rápido-Lento: O FaSTA∗ desenvolve um framework neurosimbólico que prioriza o "planejamento rápido" eficiente e baseado em regras, mantendo a robustez do "planejamento lento" (busca $A^*$) como fallback. Essa arquitetura imita a eficiência cognitiva humana, lidando rapidamente com casos comuns enquanto reserva a busca profunda para cenários novos ou desafiadores.
3. Otimização Custo-Qualidade: O sistema alcança uma fronteira de Pareto superior, reduzindo significativamente os custos computacionais enquanto mantém taxas de sucesso competitivas em comparação com baselines de última geração.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark CoSTA∗ (121 pares imagem-prompt, 550 manipulações no total) e no benchmark Complex-Edit.

• Eficiência: O FaSTA∗ reduz o custo médio de execução em 49,3% em comparação com o CoSTA∗ (de ~58s para ~29s por imagem). No benchmark Complex-Edit, ele alcança uma redução de custo de ~30%.
• Qualidade: O método mantém alta qualidade de saída, com apenas uma 3,2% de degradação na precisão em comparação com o CoSTA∗ (0,91 vs. 0,94 na pontuação média de avaliação humana).
• Reutilização de Subrotina: À medida que o agente explora mais tarefas, a taxa de reutilização de subrotinas aprendidas aumenta exponencialmente. Na avaliação final, 91% das subtarefas foram tratadas inteiramente pelo "plano rápido" (subrotinas), com apenas 9% exigindo o fallback para a busca $A^*$.
• Estudos de Ablação:
  • Remover a etapa de verificação de subrotina aumentou a taxa de fallback para 28%, demonstrando a necessidade de validar regras antes da implantação.
  • Remover o fallback de planejamento lento (Apenas Plano Rápido) causou uma queda significativa na qualidade (0,84), confirmando o papel crítico da busca $A^*$ para robustez.
  • Usar um LLM menor para a seleção de subrotinas aumentou as taxas de fallback e o custo total, destacando a necessidade de modelos de raciocínio capazes na fase de indução.

Significado e Alegações

Os autores afirmam que o FaSTA∗ aborda um gargalo chave em métodos anteriores de edição de imagem multi-turno: a despesa computacional de buscas exaustivas e repetidas sem reutilização de conhecimento. Ao combinar a eficiência de planejamento dos LLMs com a precisão da busca $A^*$ e a adaptabilidade do raciocínio indutivo, o FaSTA∗ oferece uma solução escalável e sensível a custos.

O artigo enfatiza que essa abordagem vai além do simples cache ou memorização, aprendendo regras simbólicas generalizadas que se aplicam a contextos variados. Embora o sistema requeira uma fase de "aquecimento" para acumular experiência suficiente para uma mineração de subrotina eficaz, ele eventualmente converge para uma fronteira ótima de custo-qualidade. Os autores posicionam o FaSTA∗ como uma direção promissora para o desenvolvimento de agentes de IA ágeis e em melhoria contínua, capazes de lidar com tarefas complexas e de longo horizonte de forma eficiente.