💬 NLP

Retrieved In-Context Principles from Previous Mistakes

O artigo propõe os Princípios de Contexto Recuperado (RICP), um framework professor-aluno que analisa e agrupa erros de modelos-aluno para gerar princípios personalizados em nível de tarefa destinados a melhorar o desempenho de Modelos de Linguagem Grandes em diversos benchmarks de raciocínio.

Autores originais: Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um estudante (o Modelo Estudante) a resolver quebra-cabeças complicados. Geralmente, ensinamos mostrando exemplos perfeitos de como fazer corretamente. Mas este artigo argumenta que podemos ensiná-los ainda melhor mostrando onde eles erraram e explicando por quê.

Os autores chamam seu novo método de RICP (Princípios Recuperados em Contexto). Pense nele como um sistema de tutoria inteligente, em duas etapas, envolvendo um Professor e um Estudante.

Veja como funciona, usando uma analogia simples:

O Problema: O Livro Didático "Tamanho Único"

Métodos anteriores tentaram aprender com erros, mas eram como entregar ao estudante um capítulo genérico de livro didático intitulado "Como Evitar Erros".

A Falha: Se o estudante estiver travado em um problema de matemática sobre pizza, ler uma regra genérica sobre "verificar seu trabalho" pode não ajudar o suficiente. Por outro lado, se o estudante estiver resolvendo um quebra-cabeça lógico, uma regra sobre "matemática de pizza" é inútil.
O Resultado: O conselho era ou muito vago ou não cobria tipos suficientes de erros diferentes.

A Solução: O "Tutor Personalizado" (RICP)

O método RICP atua como um professor mestre que observa o estudante fazendo uma prova prática, analisa seus erros específicos e, em seguida, cria um guia de estudos personalizado para a próxima prova.

Etapa 1: A "Autópsia do Erro" (Geração de Insights)

Primeiro, o Modelo Estudante tenta resolver um monte de problemas práticos. O Modelo Professor (uma IA mais inteligente) examina aqueles que o Estudante errou.

O que o Professor faz: Em vez de apenas dizer "Errado", o Professor escreve um relatório. Ele identifica a Causa Raiz (por exemplo: "Você esqueceu de adicionar a gorjeta ao preço da pizza") e fornece Insights específicos (por exemplo: "Sempre verifique se incluiu todas as partes do custo total").

Etapa 2: A "Biblioteca de Lições" (Formulação de Princípios)

É aqui que a mágica acontece. O Professor organiza esses erros em dois tipos de conselho:

As "Regras Gerais" (Princípios de Nível de Tarefa):
- Analogia: Imagine um Capítulo de Livro Didático.
- O Professor agrupa erros semelhantes (por exemplo, todos os erros matemáticos sobre proporções). A partir desses grupos, ele escreve regras amplas que se aplicam a qualquer problema de matemática.
- Exemplo: "Sempre verifique duas vezes suas operações aritméticas."
O "Cola Pessoal" (Princípios de Nível de Pergunta):
- Analogia: Imagine um Post-it no problema específico que você está olhando agora.
- Para a exata pergunta que o Estudante está prestes a responder, o Professor pesquisa na biblioteca os erros passados mais semelhantes. Em seguida, ele extrai o conselho específico que se aplica apenas a essa situação.
- Exemplo: "Para este problema específico de pizza, lembre-se de adicionar a gorjeta ao preço base, não apenas calcular a gorjeta."

Etapa 3: O "Dia da Prova" (Utilização dos Princípios)

Quando o Estudante enfrenta uma nova pergunta:

Ele recebe as Regras Gerais (o capítulo do livro didático) para mantê-lo no caminho certo.
Ele recebe o Cola Pessoal (o post-it) adaptado àquela pergunta específica.
Ele combina essas informações com suas instruções normais para resolver o problema.

Crucialmente: O Professor não precisa estar presente durante a prova. O Estudante apenas usa as anotações que o Professor preparou anteriormente. Isso torna a execução rápida e barata.

Por que isso é melhor?

O artigo testou isso em sete diferentes "conselhos de exames" (conjuntos de dados) envolvendo matemática, senso comum e lógica.

Personalização: Ao contrário de métodos antigos que davam o mesmo conselho a todos, o RICP dá o conselho certo para a pergunta específica.
Cobertura: Ao agrupar erros, garante que o Estudante aprenda com uma ampla variedade de erros, não apenas dos mais comuns.
Resultados: Quando adicionaram essas "Anotações de Erro" aos métodos padrão de prompt de IA, os Modelos Estudantes ficaram significativamente mais inteligentes e precisos, especialmente em problemas difíceis de lógica e matemática.

Em Resumo

Em vez de apenas mostrar a uma IA como fazer as coisas certas, este método ensina-a como evitar fazer as coisas erradas analisando suas falhas passadas. Cria um guia híbrido que oferece tanto sabedoria ampla (para segurança geral) quanto dicas específicas (para o problema imediato), ajudando a IA a raciocinar muito mais como um humano que aprende com seus próprios erros.

Resumo Técnico: Princípios Recuperados em Contexto (RICP)

Declaração do Problema

Embora a Aprendizagem em Contexto (ICL) tenha se mostrado eficaz para adaptar Modelos de Linguagem de Grande Escala (LLMs) a tarefas downstream usando exemplos corretos, abordagens recentes que tentam melhorar o desempenho aprendendo com erros enfrentam duas limitações críticas:

Falta de Personalização: Os métodos existentes geralmente aplicam um conjunto fixo de princípios a todas as perguntas. Essa abordagem estática falha em considerar as nuances específicas de problemas individuais, potencialmente levando a confusão quando princípios generalizados são inaplicáveis.
Cobertura Insuficiente de Erros: Os métodos atuais frequentemente não ajustam a distribuição de princípios para abranger um amplo espectro de erros. Isso resulta em um ênfase excessiva em erros semelhantes, estreitando o escopo de erros tratáveis e aumentando os custos de inferência devido ao consumo desnecessário de tokens.

Metodologia: Princípios Recuperados em Contexto (RICP)

Os autores propõem o RICP, um novo framework de professor-aluno projetado para gerar e recuperar princípios derivados de erros do modelo aluno. O framework opera em três etapas distintas:

1. Geração de Insights

O modelo aluno é avaliado em um conjunto de dados de treinamento ( $D_{train}$ ) para coletar soluções incorretas ( $D_{neg}$ ). Um modelo professor mais forte analisa cada erro, gerando:

Razões de Alto Nível ( $R_i$ ): Uma categorização do erro (por exemplo, "Má aplicação de Proporção").
Insights Específicos ( $I_i$ ): Orientação detalhada para prevenir erros futuros semelhantes.

2. Formulação de Princípios

Para equilibrar diversidade e personalização, o RICP emprega agrupamento hierárquico:

Princípios de Nível de Tarefa: As razões de alto nível são agrupadas usando K-means em embeddings vetoriais (BGE). Perguntas dentro do mesmo agrupamento compartilham padrões de erro semelhantes. O modelo professor amostra desses agrupamentos para formular Princípios de Nível de Tarefa, que servem como diretrizes gerais compartilhadas entre todas as perguntas de uma tarefa.
Princípios de Nível de Pergunta: Para uma pergunta de inferência específica, o sistema recupera as $m$ perguntas mais similares de cada agrupamento de razão. Os insights associados a essas perguntas recuperadas são então agrupados e amostrados para gerar Princípios de Nível de Pergunta. Isso garante que a orientação seja altamente específica para a semântica da pergunta atual.

3. Utilização de Princípios

Durante a inferência, tanto os princípios de nível de tarefa quanto os de nível de pergunta são anexados ao prompt existente do modelo aluno ( $P_{ENHANCED} = P_{TASK} \oplus P_{QUESTION} \oplus P_{BASE}$ ). Crucialmente, o modelo professor não é necessário durante a fase de inferência, reduzindo a sobrecarga computacional.

Contribuições Principais

Novo Framework: A introdução do RICP, um framework de professor-aluno que utiliza princípios gerados pelo professor para impedir que modelos alunos repitam erros específicos.
Personalização e Cobertura Aprimoradas: Ao gerar tanto princípios de nível de tarefa (diversos) quanto de nível de pergunta (personalizados) por meio de agrupamento hierárquico, o método amplia significativamente a cobertura de erros enquanto fornece orientação precisa e específica para cada pergunta.
Ortogonalidade e Eficiência: O RICP é ortogonal às estratégias de prompt existentes (por exemplo, Cadeia de Pensamento, Auto CoT) e não requer intervenção do professor durante a inferência, permitindo integração perfeita e ganhos de desempenho em vários métodos de prompt.

Resultados Experimentais

Os autores avaliaram o RICP em sete benchmarks cobrindo três tarefas de raciocínio: Raciocínio Matemático (GSM8K, SVAMP, MathQA, AQuA), Raciocínio de Senso Comum (CSQA, StrategyQA) e Raciocínio Lógico (LogiQA). Os experimentos utilizaram GPT-3.5-Turbo e Qwen-Turbo como modelos alunos, com GPT-4-Turbo como professor.

Melhoria Consistente: O RICP aprimorou consistentemente o desempenho de todos os métodos de prompt testados (Padrão, Zero-shot CoT, Few-shot CoT, Auto CoT, Complex CoT) em diferentes modelos e benchmarks.
Ganhos Significativos: Foram observadas melhorias relativas notáveis, como uma melhoria de 22,6% sobre Zero-shot CoT e 20,0% sobre Complex CoT no conjunto de dados AQuA usando GPT-3.5-Turbo.
Estudos de Ablação: A remoção de princípios de nível de tarefa ou de nível de pergunta levou à degradação do desempenho, confirmando a necessidade de ambos os componentes. Especificamente, os princípios de nível de pergunta foram críticos para prevenir erros em contextos específicos (por exemplo, Auto CoT em MathQA).
Eficácia da Recuperação: A recuperação personalizada de princípios superou significativamente a seleção aleatória, demonstrando que a relevância dos insights recuperados é vital para orientar o modelo efetivamente.

Significado e Alegações

O artigo afirma que o RICP aborda efetivamente as limitações das abordagens anteriores de "aprendizado com erros" ao fornecer um mecanismo para orientação dinâmica e consciente do contexto. Ao agrupar erros com base em razões subjacentes e recuperar insights relevantes para perguntas específicas, o método garante que o modelo receba instruções abrangentes, porém precisas.

Os autores enfatizam que o RICP é particularmente eficaz para erros lógicos, que são prevalentes no raciocínio matemático, e que o método pode ser integrado perfeitamente a outras técnicas, como Geração Aumentada por Recuperação (RAG) ou ferramentas externas. O estudo conclui que alavancar insights gerados pelo professor por meio de um processo estruturado de recuperação e agrupamento aprimora significativamente as capacidades de raciocínio de LLMs sem incorrer em custos adicionais de inferência.

Limitações Reconhecidas:

O método exige que o modelo professor seja significativamente mais avançado que o modelo aluno para garantir a qualidade dos princípios gerados.
Embora os custos de inferência não sejam aumentados, há uma sobrecarga associada à pré-construção de princípios (geração de insights e agrupamento) em comparação com a aprendizagem direta few-shot.