Resumo Técnico: Memória Episódica Causal para Reparo de Agentes Baseado em Feedback

Declaração do Problema

Agentes de Large Language Model (LLM) incumbidos de reparar falhas, particularmente na geração de Text-to-SQL, frequentemente descartam correções bem-sucedidas assim que um episódio se encerra. Consequentemente, quando falhas semelhantes (ex: junções ausentes, referências de esquema inválidas) recorrem em consultas posteriores, o agente é forçado a redescobrir soluções em vez de alavancar a experiência anterior. Embora métodos existentes como ReAct, Self-Refine e Self-Debugging utilizem efetivamente o feedback iterativo dentro de um único episódio, eles tratam cada nova consulta majoritariamente como um problema inédito. Além disso, abordagens de memória cross-episódio existentes (ex: Reflexion, ExpeL) frequentemente dependem apenas de similaridade semântica, o que gera o risco de recuperar episódios irrelevantes ou de confundir correções verificadas com tentativas malsucedidas. O desafio central é determinar se a memória episódica causal estruturada — organizada por tipo de falha e resultado — pode melhorar o desempenho do reparo sem exigir atualizações nos parâmetros do modelo.

Metodologia: MERIT

Os autores introduzem o MERIT (Memory-Augmented Error-Typed Retrieval for Iterative Text-to-SQL repair), um framework livre de treinamento projetado para acumular e utilizar experiência de reparo estruturada online.

Componentes Principais

1. Formulação de Reparo Online Causal:

   • O sistema opera sob um regime de "denotação confirmada", onde um oráculo de benchmark fornece feedback (Correto, Incompatibilidade de Denotação, Erro de Execução, Timeout) após cada tentativa.
   • A Causalidade é estritamente aplicada: uma consulta atual só pode recuperar memórias de episódios anteriores já finalizados. Ela não pode acessar sua própria trajetória inacabada ou dados futuros.
   • A predição inicial de SQL é gerada uma única vez usando decodificação greedy e é compartilhada entre todos os métodos de reparo para isolar o efeito da estratégia de reparo.

2. Classificador de Falhas Determinístico:

   • Após uma tentativa malsucedida, um classificador baseado em regras mapeia o erro observado (texto do DBMS e status de execução) para um tipo de falha grosseiro: Incompatibilidade de Resultado, Vinculação de Esquema (Schema Linking), Agregação, Filtro/Valor, Execução, Sintaxe, ou Desconhecido.
   • Este classificador não inspeciona o AST do SQL nem infere erros semânticos profundos, mas serve como um prior de recuperação.

3. Memória de Dualidade de Polaridade Online:

   • A memória é particionada em pools positivos e negativos.
   • Entradas positivas: Registram transições confirmadas pelo oráculo de um SQL falho para um SQL corrigido ($y^- \to y^+$).
   • Entradas negativas: Registram a direção final tentada em um episódio não resolvido, servindo como um aviso contra caminhos malsucedidos específicos sem afirmar invalidade universal.
   • As entradas são armazenadas como tuplas contendo a pergunta de origem, esquema, SQL, status, tipo de falha e a transformação observada.

4. Recuperação Híbrida Condicionada ao Tipo:

   • Seleção de Candidatos: Para um determinado tipo de falha $\tau$, o sistema primeiro tenta recuperar do subconjunto do mesmo tipo do pool de polaridade relevante. Se houver menos de três entradas do mesmo tipo, ele retorna ao pool de mesma polaridade legal completo.
   • Ranking: Uma função de pontuação híbrida combina similaridade semântica densa (capturando relação estrutural) e similaridade lexical BM25 (preservando sobreposições exatas em identificadores de esquema e mudanças de SQL). A pontuação final é uma soma ponderada ($0.75 \times \text{denso} + 0.25 \times \text{BM25}$).
   • Limite de Recuperação: O sistema recupera até três entradas positivas e uma negativa.

5. Geração de Reparo:

   • Um LLM congelado (Qwen2.5-7B-Instruct) gera uma revisão baseada no contexto atual e nos precedentes recuperados. As memórias positivas são apresentadas como direções confirmadas bem-sucedidas; as memórias negativas como direções malsucedidas observadas.
   • O processo se repete até que a consulta seja corrigida ou o orçamento de reparo ($K=7$) seja esgotado.

Principais Contribuições

1. Formulação de Memória Episódica Causal: O artigo formula a correção de Text-to-SQL como um problema de memória causal onde apenas resultados de episódios anteriores finalizados guiam as consultas atuais, evitando vazamento de dados.
2. Recuperação Híbrida Guiada por Erro: Os autores propõem um mecanismo de recuperação que organiza a experiência tanto por resultado (polaridade) quanto por tipo de falha, utilizando uma estratégia de ranking híbrido lexical-denso.
3. Avaliação Controlada: Uma avaliação rigorosa é realizada através de três ordens de fluxo nos benchmarks Spider e BIRD, comparando o MERIT contra reparo iterativo sem estado (stateless), recuperação dinâmica (estilo DAIL-SQL/ACT-SQL) e memória do tipo Reflexion.

Resultados Experimentais

A avaliação utiliza o backbone Qwen2.5-7B-Instruct com predições iniciais idênticas e orçamentos de reparo ($K=7$).

• Benchmark Spider:

  • Reparo Iterativo Stateless: 66.34% de acurácia de execução.
  • MERIT: 69.79% de acurácia de execução.
  • RAG Dinâmico: 69.79% (empatado com MERIT).
  • Estilo Reflexion: 68.38%.
  • Análise: O MERIT mostra uma melhoria estatisticamente significativa (+3.45%) sobre o reparo stateless. No entanto, não é claramente separado do RAG Dinâmico (recuperação sem tipagem) ou da memória do estilo Reflexion.

• Benchmark BIRD:

  • Reparo Iterativo Stateless: 47.35%.
  • MERIT: 48.44%.
  • RAG Dinâmico: 48.15%.
  • Estilo Reflexion: 51.24% (Maior performance).
  • Análise: O MERIT mostra uma melhoria modesta e mais fraca (+1.09%) sobre o reparo stateless. Notavelmente, a memória do estilo Reflexion supera o MERIT no BIRD, embora com um custo de inferência substancialmente maior.

• Estudos de Ablação:

  • Polaridade: Remover a memória negativa teve um impacto modesto (−0.13% no Spider), sugerindo que as correções verificadas são o principal sinal.
  • Condicionamento de Tipo: A tipagem de erro proporcionou benefícios claros no Spider (−0.58% de queda quando removido), mas foi menos crítica no BIRD, onde os resultados foram comparáveis com e sem filtragem de tipo.
  • Localidade de Esquema: Restringir a recuperação ao mesmo banco de dados gerou os benefícios mais consistentes. A recuperação cross-database causou quedas significativas (−2.74% no B

• Custo: O MERIT aumenta o consumo de tokens em comparação ao reparo stateless devido ao contexto recuperado, mas permanece significativamente mais barato que as abordagens do estilo Reflexion (que exigem reflexões verbais e mais chamadas).

Significância e Alegações

O artigo alega que a memória cross-query causal pode melhorar o reparo de agentes sem atualizações de parâmetros, mas sua eficácia é contingente à natureza da tarefa e da organização da memória.

• Esclarecimento do Valor da Memória: Os resultados esclarecem que, embora a memória melhore o reparo, a organização específica (separação de polaridade, condicionamento de tipo rígido) não é universalmente superior à recuperação dinâmica simples.
• Localidade de Esquema: O benefício mais consistente advém da experiência local ao esquema, sugerindo que os padrões de reparo são altamente específicos às estruturas de banco de dados.
• Ganhos Modestos: Os autores são modestos em suas alegações, observando que o MERIT não é reliablemente separado de uma recuperação dinâmica sem tipagem em nenhum dos dois benchmarks e que a memória do estilo Reflexion pode superá-lo em datasets complexos (BIRD), apesar dos custos mais elevados.
• Limitações: O estudo assume o acesso a sinais de correção de nível de denotação (feedback do oráculo), que podem não existir em todos os ambientes implantados. O classificador determinístico é grosseiro (aprox. 48% de acurácia), limitando a confiabilidade da recuperação de tipo rígido. Adicionalmente, o método não reduz o consumo total de tokens em comparação ao reparo stateless.

Em conclusão, o MERIT demonstra que a memória episódica estruturada é um mecanismo viável para reparo baseado em feedback, particularmente ao alavancar correções verificadas e locais ao esquema, mas não constitui uma solução universal que supere todas as estratégias de memória alternativas em todos os domínios.