💬 NLP

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

O MILES é um novo framework para o raciocínio de LLMs de autoaperfeiçoamento que expande dinamicamente uma memória modular de pares de instrução passo a passo e emprega um mecanismo de seleção aprendível de grosso a fino para otimizar a composição da memória e a precisão do raciocínio sob restrições realistas de tempo de execução.

Autores originais: Ruilin Tong, Dong Gong

Publicado 2026-07-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruilin Tong, Dong Gong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O "Caderno Inteligente" para a IA

Imagine que você tem um amigo brilhante, mas teimoso (a IA), que é ótimo em resolver quebra-cabeças, mas tem uma memória terrível. Toda vez que você faz uma nova pergunta de matemática, ele age como se nunca tivesse visto uma antes. Ele resolve o problema, mas se você fizer uma pergunta semelhante mais tarde, ele tem que começar do zero.

Normalmente, para tornar esse amigo mais inteligente, você teria que enviá-lo de volta à escola por anos para reaprender tudo (isso é chamado de "treinamento" ou atualização dos parâmetros do modelo). Mas e se o seu amigo for um livro fechado que você não pode enviar de volta à escola? Você não pode mudar o cérebro dele.

MILES é uma nova maneira de ajudar esse amigo a ficar mais inteligente enquanto ele trabalha, sem mudar o seu cérebro. Isso dá a ele um caderno dinâmico e aprendível no qual ele pode escrever e consultar em tempo real.

O Problema dos Cadernos Antigos

As tentativas anteriores de dar "memória" à IA tinham dois problemas principais:

O Caderno de "Solução Completa": Alguns métodos armazenavam respostas inteiras de problemas passados. Se você fizesse uma pergunta 90% semelhante a uma antiga, funcionava muito bem. Mas se a pergunta fosse ligeiramente diferente (um problema "novo"), a resposta antiga era inútil. Era como tentar usar uma receita de "Torta de Maçã" para assar um "Muffin de Mirtilo".
O Caderno "Heurístico": Outros métodos armazenavam pequenos passos (como "dividir por 2" ou "verificar as unidades"). Mas a IA tinha que adivinhar qual passo usar a seguir apenas olhando o quão semelhantes eram as palavras. Era como um chef pegando um pote de tempero aleatório porque o rótulo parecia semelhante ao que ele precisava, esperando pelo melhor.

A Solução MILES: Um Sistema "Modular" e "Aprendível"

O MILES muda o jogo ao tratar o raciocínio como um conjunto de LEGO em vez de um único bloco de concreto.

1. Os Blocos de Construção: "Sub-objetivos" e "Sub-instruções"

Em vez de armazenar respostas inteiras, o MILES decompõe os problemas em pequenos tijolos de LEGO reutilizáveis.

O Sub-objetivo (O Rótulo): Uma descrição curta do que precisa ser feito a seguir (ex: "Simplificar a fração").
A Sub-instrução (O Tijolo): Uma dica específica em linguagem natural sobre como fazer isso (ex: "Divida o numerador e o denominador pelo seu máximo divisor comum").

Pense nisso como uma caixa de ferramentas onde cada ferramenta tem um rótulo claro.

2. O "Seletor Inteligente" (A Cabeça Aprendível)

Esta é a parte mágica. No passado, a IA apenas pegava a ferramenta que parecia mais semelhante ao problema atual. O MILES dá à IA um assistente pessoal (uma "cabeça de seleção") para cada ferramenta na caixa.

Como aprende: Quando a IA resolve um problema com confiança (ela acerta a resposta), o MILES olha para trás nos passos que ela seguiu. Ele pergunta: "Ei, quando usamos a ferramenta 'Simplificar Fração', isso nos ajudou a chegar na resposta certa?"
O Treinamento: Se a resposta for "Sim", o assistente aprende a confiar nessa ferramenta para situações semelhantes. Se a resposta for "Não", o assistente aprende a evitar essa ferramenta.
Sem precisar de Escola: O cérebro da IA permanece congelado. Apenas esses pequenos "assistentes" (que são programas de computador muito pequenos) são atualizados.

3. O Processo de Busca em Duas Etapas

Quando a IA enfrenta um novo problema, o MILES usa uma busca "Do Grosso para o Fino" (Coarse-to-Fine), como procurar um livro em uma biblioteca:

Camada 1 (A Busca Grossa): A IA faz uma varredura rápida nos rótulos (Sub-objetivos) para encontrar algumas ferramentas promissoras. É como caminhar pelo corredor de "Matemática" e pegar alguns livros que podem ser relevantes.
Camada 2 (A Revisão do Especialista): Os "assistentes" (cabeças de seleção) pegam esses poucos candidatos e dão uma pontuação baseada na experiência passada deles. "Espere, essa ferramenta funcionou muito bem para álgebra, mas falhou para geometria. Vamos escolher a outra."

Como Funciona em Tempo Real (O Fluxo "Confiante vs. Incerto")

O sistema opera em dois modos, dependendo do nível de certeza da IA:

O Modo "Confiante" (Fase de Aprendizado):
Se a IA resolve um problema facilmente e obtém a resposta correta, ela trata isso como uma "sessão de treinamento". Ela decompõe seus passos bem-sucedidos, salva-os como novos tijolos de LEGO no caderno e ensina seus assistentes quais ferramentas funcionaram melhor. O caderno torna-se mais rico a cada sucesso.
O Modo "Incerto" (Fase de Ajuda):
Se a IA estiver travada ou incerta, ela para de adivinhar. Em vez disso, ela abre o caderno, pede conselhos aos seus assistentes e usa as melhores ferramentas para guiar seu pensamento. É como um aluno levantando a mão para pedir uma dica ao professor quando está com dificuldades.

Por Que Isso Importa (Os Resultados)

O artigo testou o MILES em exames difíceis de matemática e ciências (como AIME e MATH-500).

Melhor Precisão: Ele resolveu consistentemente mais problemas corretamente do que outros métodos que usam memória ou busca.
Eficiência: Não desperdiçou tanto poder computacional tentando palpites aleatórios; usou a "memória aprendida" para escolher o caminho certo mais rapidamente.
Transferibilidade: O caderno construído por um modelo de IA poderia, na verdade, ajudar um modelo de IA diferente a resolver problemas. É como se um mestre chef escrevesse um livro de receitas que um chef júnior pudesse pegar e usar imediatamente, mesmo que nunca tivessem se conhecido.

Analogia de Resumo

Imagine que você está jogando um videogame.

O Jeito Antigo: Você tenta vencer cada nível adivinhando. Se você morre, recomeça.
O Jeito de Memória Anterior: Você mantém uma lista de "Estratégias Vencedoras" para níveis específicos. Se você vê o Nível 5, você usa a estratégia do Nível 5. Se você vê o Nível 5.1, você fica travado.
O Jeito MILES: Você mantém um guia de estratégia dinâmico que se atualiza sozinho. Quando você vence um nível, o guia escreve automaticamente exatamente qual movimento funcionou melhor para aquela situação específica. Na próxima vez que você enfrentar um pulo difícil, o guia não apenas mostra uma lista; ele tem um "filtro inteligente" que diz: "Com base nas suas vitórias passadas, o movimento 'Pulo Duplo' tem 90% de chance de funcionar aqui."

O MILES permite que a IA acumule experiência e fique mais inteligente ao longo do tempo, não ao retreinar seu cérebro, mas ao aprender a usar melhor sua própria biblioteca crescente de dicas e truques.

Resumo Técnico: MILES (Modular Instruction Memory with Learnable Selection)

Formulação do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades significativas de raciocínio por meio de técnicas de computação em tempo de teste, como Chain-of-Thought (CoT), Self-Consistency e Tree Search. No entanto, as abordagens existentes tratam cada problema de forma isolada. Em cenários práticos onde os problemas chegam sequencialmente, os modelos falham em acumular e reutilizar a experiência entre consultas relacionadas. Atualizar os parâmetros do modelo para cada novo problema é frequentemente inviável, particularmente para modelos fechados ou congelados.

Embora existam métodos de memória externa, eles sofrem de limitações críticas:

Generalização Pobre: Métodos que armazenam templates ou estratégias de soluções completas costumam falhar quando novos problemas possuem estruturas inéditas.
Seleção Heurística: Abordagens de memória ao nível de passo dependem tipicamente de seleção heurística (ex: recuperação por similaridade ou prompting) em vez de otimizar para a correção da resposta final.
Restrições de Treinamento: Aprender políticas de seleção geralmente requer conjuntos de dados rotulados em larga escala, espaços de ação fixos ou atualizações de parâmetros, o que é incompatível com configurações de tempo de teste onde a memória se expande incrementalmente e a supervisão é limitada.

O desafio central é organizar, manter e reutilizar uma memória externa que melhore a precisão do raciocínio conforme a experiência se acumula, sem atualizar os parâmetros do LLM subjacente.

Metodologia: Estrutura MILES

O MILES (Modular Instruction Memory with LEarnable Selection) aborda esses desafios permitindo a auto-melhoria em tempo de teste através do acúmulo e composição de módulos de raciocínio reutilizáveis. A estrutura opera sobre um LLM congelado e consiste em quatro componentes principais:

1. Estrutura de Memória Assimétrica Modular

O MILES armazena a memória como uma coleção de unidades modulares, definidas como pares assimétricos $(g_i, u_i)$ :

Embedding de Sub-objetivo ( $g_i$ ): Um vetor denso que resume o objetivo de um passo de raciocínio. Serve como uma chave de recuperação.
Sub-instrução ( $u_i$ ): Uma diretiva em linguagem natural usada para condicionar a geração do LLM quando a unidade é aplicada.
Cabeça de Seleção: Cada unidade de memória é associada a uma cabeça de seleção leve e aprendível ( $\pi_{\theta_a}$ ) que prevê a aplicabilidade da unidade dado o estado atual do raciocínio.

Esta estrutura permite expansão incremental; novas unidades e suas respectivas cabeças podem ser adicionadas sem o retreinamento dos componentes existentes.

2. Mecanismo de Recuperação de Coarse-to-Fine

Para equilibrar eficiência de recuperação com precisão de seleção, o MILES emprega um processo de seleção de duas camadas:

Camada 1 (Recuperação Coarse): Baseada na similaridade de sub-objetivos. O LLM gera objetivos de passos candidatos, e seus embeddings são comparados com sub-objetivos armazenados usando similaridade de cosseno. Um limiar efetivo por unidade filtra unidades irrelevantes. Esta camada facilita a expansão da memória e coleta de dados de treinamento.
Camada 2 (Pontuação de Aplicabilidade Aprendida): Uma cabeça de seleção aprendida pontua a aplicabilidade dos candidatos recuperados com base no estado completo do raciocínio. Para lidar com estados de comprimento variável, o MILES utiliza um codebook de contexto (embeddings agrupados de passados sub-objetivos e condições) para criar vetores de características de comprimento fixo via pooling de máxima similaridade.
Pontuação Combinada: A seleção final combina a similaridade semântica da Camada 1 e a pontuação de aplicabilidade aprendida da Camada 2.

3. Composição de Memória Aprendível

O MILES trata a seleção de memória como um problema de tomada de decisão sequencial. O objetivo é maximizar a probabilidade de uma resposta correta final.

Coleta de Dados de Treinamento: Para amostras "confiantes" (onde múltiplos rollouts do LLM concordam com uma resposta), o sistema executa Monte Carlo Tree Search (MCTS) usando amostragem da Camada 1. Isso gera trajetórias onde sub-instruções são aplicadas, e a correção resultante serve como um pseudo-rótulo.
Otimização: As cabeças de seleção são treinadas usando cross-entropy binária nessas trajetórias coletadas. O objetivo aproxima uma política ótima derivada sob uma restrição de divergência KL, incentivando as cabeças a selecionar unidades que levem a respostas corretas enquanto evita o overfitting através de classificação one-vs-rest e métodos de ensemble.

4. Pipeline de Inferência

O sistema roteia amostras de teste com base na confiança:

Amostras Confiantes: Usadas para expandir a memória e treinar as cabeças de seleção. O LLM gera respostas; se consistentes, a trajetória é usada para coleta de dados de MCTS e sumarização de memória.
Amostras Incertas: Roteadas para uma busca em árvore guiada por memória. O sistema recupera candidatos via Camada 1, reclassifica-os via Camada 2 e aplica a melhor sub-instrução para guiar o próximo passo de raciocínio, repetindo o processo até que uma resposta final seja alcançada.

Principais Contribuições

Estrutura MILES: Um novo framework para auto-melhoria em tempo de teste que constrói incrementalmente uma memória de instrução modular a partir de traços de raciocínio confiantes e aplica memória aprendida a casos incertos sem atualizações de parâmetros, supervisão externa ou espaços de ação fixos.
Memória Assimétrica Modular: Uma estrutura de pares (sub-objetivo, sub-instrução) com cabeças de seleção por item, permitindo um mecanismo coarse-to-fine que suporta tanto a expansão incremental de memória quanto a composição aprendível.
Composição de Memória Aprendível: Um método para treinar cabeças de seleção leves a partir de resultados de rollouts em amostras confiantes, permitindo a composição de memória auto-supervisionada e otimizada para correção sob dados limitados de tempo de teste.
Validação Empírica: Experimentos extensos demonstrando que o MILES iguala ou supera métodos anteriores em seis benchmarks de raciocínio e quatro modelos de base (backbones).

Resultados Experimentais

Os autores avaliaram o MILES em seis benchmarks (MATH-500, AIME 2024/2025, GPQA-Diamond, MMLU-Pro Physics/Engineering) utilizando quatro backbones (GPT-4.1, GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct).

Acurácia: O MILES consistentemente iguala ou excede os métodos de baseline (incluindo Zero-shot CoT, Self-Consistency, Buffer-of-Thoughts e Dynamic CheatSheet). Melhorias notáveis foram observadas em backbones menores de pesos abertos onde outros métodos baseados em memória falharam em superar o zero-shot CoT.
Eficiência: O MILES domina a fronteira de acurácia-vs-tokens. Ao contrário dos baselines que estagnam com o aumento de computação, o MILES continua a melhorar conforme o orçamento de tokens cresce através da construção de unidades de memória adicionais.
Transferibilidade: O framework suporta transferência entre modelos. A memória construída a partir de rollouts de modelos auxiliares (ex: Qwen3-30B) melhora efetivamente o desempenho de um backbone diferente e mais forte (ex: GPT-4.1-mini).
Estudos de Ablação: Remover tanto a camada de recuperação coarse quanto a cabeça de seleção aprendida degrada significamente o desempenho, validando a necessidade do mecanismo de duas camadas. As cabeças aprendidas superam outros reclassificadores baseados em similaridade de estado ou prompting de LLM.

Significância e Alegações

O artigo afirma que o MILES demonstra que a composição de memória modular é um mecanismo viável e eficaz para a auto-melhoria em tempo de teste de LLMs congelados.

Pontos de significância chave incluem:

Complementaridade: A abordagem de composição de memória passo a passo é complementar aos métodos existentes de prompting e busca em tempo de teste, fornecendo uma via adicional de melhoria através da experiência acumulada.
Robustez: O método é robusto através de diferentes famílias de modelos e distribuições de dados, e não depende de modelos de recompensa de processo (PRMs) externos ou conjuntos de dados curados.
Escalabilidade: Ao desacoplar a seleção de memória da atualização de parâmetros, o MILES oferece um caminho para melhoria contínua em configurações onde os pesos do modelo não podem ser modificados.

Os autores concluem que aprender conhecimento de seleção de memória reutilizável é uma direção promissora para construir sistemas de raciocínio que melhoram continuamente, embora reconheçam limitações em relação ao overhead computacional da coleta de dados baseada em rollout e à dependência das capacidades de seguimento de instrução do LLM subjacente.