Resumo Técnico: RIMRULE – Melhorando Agentes de Linguagem no Uso de Ferramentas via Aprendizado de Regras Guiado por MDL

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente têm dificuldade em utilizar ferramentas de forma confiável em cenários de domínio específico, onde as APIs são idiossincráticas, subdocumentadas ou adaptadas a fluxos de trabalho privados. Os paradigmas de adaptação atuais — prompting de poucos disparos (few-shot), otimização de prompt global e ajuste fino (fine-tuning) — apresentam limitações significativas:

• Prompting de poucos disparos (few-shot) reutiliza exemplos brutos sem abstrair os padrões subjacentes, levando frequentemente a uma extração de padrões superficial.
• Prompts globais são estáticos e frágeis em ambientes interativos.
• Ajuste fino (fine-tuning) é computacionalmente custoso, exige novo treinamento quando os ambientes mudam e impede o compartilhamento fácil do conhecimento adquirido entre diferentes arquiteturas de modelos.

Há uma necessidade de um método de adaptação que espelhe o aprendizado humano: tentar, errar e comprimir a experiência em heurísticas reutilizáveis e interpretáveis que se generalizem entre tarefas e modelos sem modificar os pesos do modelo.

2. Metodologia: RIMRULE

Os autores propõem o RIMRULE (Regras Reutilizáveis, Interpretáveis e Guiadas por MDL), um framework neuro-simbólico que adapta agentes de LLM ao destilar regras compactas de rastros de falha e injetá-las dinamicamente durante a inferência. O framework opera em duas fases distintas:

Fase 1: Geração de Regras Locais

1. Coleta de Experiência: Um agente de LLM zero-shot executa tarefas em um conjunto de treinamento. Os rastros de execução que resultam em respostas incorretas ou terminação prematura devido a erros de chamada de ferramenta são retidos como "rastros de falha".
2. Indução de Regras via EBL: Usando Aprendizado Baseado em Explicação (EBL), o sistema compara um rastro de falha ($\tau^-$) com seu contraparte de verdade fundamental ($\tau^*$) para identificar a causa raiz do erro (ex: decomposição, seleção de ferramenta ou construção de argumento). Um LLM propõe uma regra compacta, em linguagem natural, para corrigir erros semelhantes.
3. Filtragem: As regras propostas passam por verificações preditivas (garantindo que melhorem o desempenho na consulta específica) e verificações linguísticas (impondo uma forma se-então limpa).
4. Tradução Simbólica: Para garantir o correspondência estrutural e a medição consistente de complexidade, as regras em linguagem natural são compiladas em uma representação simbólica com campos fixos: Domínio, Qualificador, Ação, Força e CategoriaDaFerramenta. Isso cria um conjunto de regras determinístico e auditável.

Fase 2: Consolidação Guiada por MDL

O conjunto inicial de regras frequentemente contém regras sobrepostas e excessivamente específicas. O RIMRULE consolida este conjunto usando o princípio do Comprimento de Descrição Mínima (MDL) para equilibrar a complexidade da regra com a eficácia empírica.

• Objetivo: Minimizar $MDL(H) = L(H) + L(D | H)$, onde $L(H)$ é o custo do modelo (penalizando a complexidade da regra/comprimento do token) e $L(D | H)$ é o custo dos dados (medindo quão bem as regras corrigem as falhas observadas).
• Consolidação Gananciosa (Greedy): Partindo do pool total de regras, o sistema aplica iterativamente edições locais — podando regras redundantes ou generalizando regras específicas de ferramentas para regras de nível de categoria. Uma edição é aceita apenas se a redução no custo do modelo superar o aumento no custo dos dados.
• Resultado: Uma biblioteca de regras compacta e de alta utilidade que se generaliza bem.

Recuperação em Tempo de Inferência

Na inferência, injetar todas as regras é ineficiente. O RIMRULE emprega um mecanismo de recuperação baseada em símbolos:

1. A consulta atual e o contexto da ferramenta são convertidos em uma representação simbólica.
2. Um filtro grosseiro remove regras inaplicáveis com base no escopo da ferramenta.
3. As regras restantes são classificadas por similaridade semântica entre seus campos simbólicos e os campos simbólicos da consulta.
4. Os $k$ principais tópicos relevantes são recuperados, convertidos de volta para linguagem natural e injetados no prompt.

3. Principais Contribuições

• Um Novo Paradigma de Adaptação: O RIMRULE introduz uma abordagem distinta para a adaptação de LLM que enfatiza a abstração e a compressão em vez da repetição de exemplos brutos (few-shot) ou modificação de pesos (fine-tuning).
• Consolidação de Regras Guiada por MDL: O artigo demonstra que o uso de MDL para podar e generalizar regras produz um conjunto de regras mais compacto e eficaz do que heurísticas baseadas em prompts.
• Portabilidade entre Arquiteturas: O método produz regras simbólicas, legíveis por humanos, que podem ser destiladas de um LLM (ex: um modelo mais fraco) e reutilizadas para melhorar outros (incluindo modelos mais fortes de raciocínio longo) sem retreinamento.
• Representação Dupla: Ao armazenar regras tanto em linguagem natural quanto em formas simbólicas estruturadas, o sistema suporta recuperação eficiente e medição de complexidade principiada.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks de uso de ferramentas: ToolHop (composição, multi-turno) e BFCL (passo único, ferramentas diversas).

• Ganhos de Desempenho: O RIMRULE melhorou consistentemente a precisão tanto nos divisões in-distribution (test-rand) quanto out-of-distribution (test-unseen). Por exemplo, no ToolHop, a precisão aumentou de 26,5% (zero-shot) para 31,1% após a geração e consolidação das regras.
• Comparação com Baselines: O RIMRULE superou o prompting de poucos disparos (few-shot), a otimização de prompt (SEE) e o prompting ReAct padrão em todos os conjuntos de dados.
• Complementaridade com Fine-tuning: Adicionar o RIMRULE a modelos ajustados (SFT) e modelos com capacidades nativas de chamada de função (function-calling) gerou ganhos de desempenho adicionais, indicando que a adaptação baseada em regras opera em um eixo ortogonal à adaptação baseada em pesos.
• Transferibilidade: Regras destiladas do Llama3.2 melhoraram o desempenho do GPT-4o, Llama4 e O1. Inversamente, regras do GPT-4o melhoraram o Llama3.2, demonstrando transferibilidade bidirecional.
• Eficiência de Amostra: Em um cenário de baixos recursos (90 amostras de treinamento), o método aprendeu apenas quatro regras, mas alcançou melhorias significativas de precisão (ex: de 46,0% para 60,0% em tarefas não vistas do BFCL).
• Estudos de Ablação: A recuperação simbólica superou significativamente a recuperação baseada em linguagem natural, e a consolidação guiada por MDL superou a fusão baseada em prompt, confirmando a necessidade de ambos os componentes.

5. Significância e Alegações

O artigo posiciona o RIMRULE como um caminho prático para a adaptação modular e interpretável de LLMs. Sua principal significância reside em:

1. Interpretabilidade: Diferente das atualizações de pesos de caixa-preta, o RIMRULE produz regras explícitas e legíveis por humanos que explicam por que um agente falhou e como corrigi-lo.
2. Reusabilidade: Ele desacopla a aquisição de conhecimento do treinamento do modelo, permitindo que o conhecimento seja compartilhado entre diferentes arquiteturas de LLM sem retreinamento.
3. Generalização: Ao comprimir padrões de falha em regras abstratas, o método melhora o desempenho em ferramentas e consultas nunca vistas durante o treinamento.

Os autores reconhecem limitações, observando que a abordagem requer acesso a sinais de falha durante o treinamento e depende de um procedimento de consolidação gananciosa que não garante a otimalidade global. Eles também alertam que as regras aprendidas podem sofrer generalização excessiva se aplicadas fora de seu escopo pretendido, embora a interpretabilidade das regras permita auditoria e revisão.