💬 NLP

RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation

O artigo propõe o RIMS, um framework de otimização de preferência de três estágios para modelos de linguagem de pequena escala em geração com aumento de recuperação que utiliza dados sintéticos autogerados e um mecanismo de agregação suave diferenciável para aproveitar efetivamente múltiplos pares de preferência, superando assim os baselines de estado da arte em condições de recuperação ruidosas.

Autores originais: Pei Tian, Zihan Dong, Tianci Liu, Linjun Zhang, Haoyu Wang

Publicado 2026-07-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pei Tian, Zihan Dong, Tianci Liu, Linjun Zhang, Haoyu Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito inteligente, mas minúsculo, como responder a perguntas difíceis. Este robô é um "Modelo de Linguagem de Pequena Escala" (SLM). Pense nele como um aluno brilhante do ensino médio que leu alguns livros, mas não memorizou a biblioteca inteira. Quando você faz uma pergunta difícil, ele fica nervoso e pode inventar coisas. Para ajudar, você dá a ele uma "folha de cola" com resultados de busca da internet, uma técnica chamada Geração Aumentada por Recuperação (RAG).

No entanto, há um detalhe: a internet é bagunçada. Sua folha de cola pode conter uma mistura de fatos verdadeiros, rumores confusos e mentiras descaradas. Um robô grande e superpoderoso poderia identificar as mentiras e ignorá-las. Mas o nosso pequeno robô? Ele frequentemente se confunde com o ruído, acreditando na informação errada e dando uma resposta incorreta. Cientistas tentaram corrigir isso ensinando o robô a escolher entre diferentes respostas, um método chamado "otimização de preferência". Mas a forma antiga de ensinar era como um treinador rigoroso que olhava apenas para o único erro mais grave que o robô cometia e ignorava todo o resto. Descobriu-se que ignorar os outros sinais deixa o robô ainda mais confuso.

Este artigo apresenta um novo método de treinamento chamado RIMS (Geração Aumentada por Recuperação via Agregação Suave de Múltiplos Pares). Em vez de agir como um treinador rigoroso que escolhe apenas um "pior" exemplo para corrigir, o RIMS age como um mentor sábio que olha para todos os exemplos que o robô gerou. Ele mistura suavemente as pistas boas e ruins em uma única lição fluida. Isso ajuda o pequeno robô a identificar o ruído em sua folha de cola muito melhor, mesmo quando a informação está bagunçada. Os pesquisadores testaram isso em quatro diferentes jogos de perguntas e respostas difíceis e descobriram que o método deles ajudou os pequenos robôs a acertar significativamente mais respostas do que os métodos rigorosos antigos.

O Problema: O Pequeno Robô e a Biblioteca Barulhenta

Vamos mergulhar na história. Temos esses modelos de IA pequenos e eficientes (SLMs) que são ótimos para rodar em telefones ou computadores pequenos porque não precisam de uma quantidade massiva de energia. Mas eles têm uma "capacidade cerebral" pequena. Eles não sabem tanto quanto os modelos gigantes. Para corrigir isso, conectamos eles a um mecanismo de busca (RAG) para que possam procurar fatos.

O problema é que os mecanismos de busca não são perfeitos. Às vezes, eles trazem documentos que são totalmente irrelevantes ou até contraditórios. Quando uma IA minúscula tenta ler através de uma pilha de documentos que inclui tanto a verdade quanto um monte de bobagens, ela costuma ficar sobrecarregada. Ela pode pegar o fato errado e afirmá-lo confiantemente como verdade.

O Jeito Antigo: O Treinador do "Erro Mais Difícil"

Para ensinar essas IAs a serem melhores, os pesquisadores usam uma técnica chamada otimização de preferência. Imagine que você mostra à IA dez respostas diferentes para uma pergunta. Algumas são boas, outras são ruins. O objetivo é ensinar a IA a preferir as boas e rejeitar as ruins.

Anteriormente, um método popular (chamado RoseRAG) agia como um treinador muito rigoroso. Quando a IA gerava dez respostas, o treinador olhava para elas e dizia: "Ok, vejo uma resposta que é muito ruim e uma que é muito boa. Vou ignorar as outras oito. Vamos treinar apenas com este par único de 'melhor' e 'pior'".

O artigo argumenta que isso é um desperdício de informação. Ao jogar fora as outras oito respostas, o treinador está ignorando pistas valiosas sobre o porquê de as outras respostas terem sido melhores ou piores. É como um aluno fazendo uma prova, errando uma questão, e o professor corrigindo apenas aquele erro específico enquanto ignora o fato de que o aluno também errou outras três questões levemente. O aluno perde a visão geral.

O Novo Jeito: RIMS e a "Mistura Suave"

Os autores propõem o RIMS, que muda completamente o estilo de treinamento. Em vez de escolher apenas um "vencedor" e um "perdedor", o RIMS olha para todas as respostas que a IA gerou.

Aqui está o truque de mágica: o RIMS usa uma ferramenta matemática chamada LogSumExp (LSE) para criar uma "mistura suave". Imagine que você tem uma tigela de sopa com dez ingredientes diferentes (as dez respostas). O método antigo pegaria apenas uma colherada muito salgada e uma colherada insossa e jogaria o resto fora. O RIMS, no entanto, pega toda a tigela e a mistura para criar um sabor perfeito e equilibrado.

Essa mistura "suave" cria uma lição única e unificada que contém o sinal de cada resposta. Ele não ignora as fáceis ou as difíceis; ele as pesa todas juntas. Isso é chamado de "agregação suave diferenciável". É "diferenciável" porque a matemática permite que a IA aprenda com a mistura de forma suave, e "suave" porque não toma uma decisão dura e de tudo ou nada sobre qual resposta focar.

O Que Eles Descobriram

Os pesquisadores testaram o RIMS em quatro diferentes benchmarks de perguntas e respostas de "múltiplos saltos" (multi-hop). Estes são como jogos de trivia onde você precisa conectar várias peças de informação para obter a resposta, e os resultados da busca costumam estar cheios de distrações. Eles testaram em dois modelos de IA pequenos diferentes (Qwen2.5-1.5B e Gemma-2-2b).

Os resultados foram claros:

Melhores Pontuações: O RIMS consistentemente superou os melhores métodos existentes (como o RoseRAG) em obter a resposta exata (Exact Match) e em corresponder às palavras corretas (pontuação F1).
Lidando com o Ruído: Quando os pesquisadores adicionavam cada vez mais "ruído" (documentos irrelevantes) aos resultados de busca, os métodos antigos começavam a falar. O RIMS, no entanto, continuava performando bem. Ele provou ser muito mais robusto contra informações bagunçadas.
Prova Teórica: Os autores não apenas adivinharam que isso funcionaria; eles fizeram a matemática. Eles provaram que seu método "suave" reduz a "variância" (ou aleatoriedade) no processo de aprendizado. Em termos simples, o método antigo era como uma mão trêmula tentando desenhar uma linha reta, enquanto o RIMS é uma mão firme. Eles também mostraram que o "erro" em seu método de suavização pode ser controlado e mantido muito pequeno.

Por Que Isso Importa

Este artigo sugere que, para modelos de IA pequenos e eficientes, não devemos descartar dados. Mesmo quando uma IA gera uma série de respostas, cada uma delas contém uma pista. Ao usar uma forma "suave" de combinar todas essas pistas, podemos ensinar esses pequenos robôs a serem muito mais inteligentes e confiáveis, mesmo quando a informação que encontram é bagunçada. É um passo para tornar a IA poderosa acessível em dispositivos comuns, sem a necessidade de um supercomputador.

Resumo Técnico: RIMS – Otimização de Preferência via Agregação Suavizada de Múltiplos Pares para RAG de Modelos de Linguagem de Pequena Escala

Declaração do Problema

Modelos de linguagem de pequena escala (SLMs) são cada vez mais vitais para a Geração Aumentada por Recuperação (RAG) em ambientes de recursos limitados, devido aos seus menores custos de inferência e portabilidade. No entanto, sua capacidade limitada os torna altamente sensíveis a evidências recuperadas ruidosas ou espúrias, levando frequentemente a saídas alucinadas ou à incapacidade de distinguir informações relevantes de distratores.

Métodos existentes para melhorar a robustez de SLMs em configurações RAG enfrentam limitações significativas:

Abordagens baseadas em prompts dependem da habilidade intrínseca do modelo para filtrar ruído, o que frequentemente falha para SLMs.
Ajuste Fino Supervisionado (SFT) é altamente sensível ao ruído nos contextos recuperados e propenso ao sobreajuste (overfitting) em evidências imperfeitas.
A Otimização de Preferência (PO) oferece uma alternativa mais robusta ao aprender com sinais de qualidade relativa. No entanto, as abordagens atuais de estado da arte, como o RoseRAG, utilizam dados de preferência de múltiplos pares de forma ineficiente. O RoseRAG seleciona apenas o par de preferência "mais difícil" (via argmin/argmax duro) baseado nas verossimilhanças iniciais do modelo e descarta todos os outros sinais. Essa seleção dura fixa o sinal de treinamento precocemente, ignorando a política em evolução e a rica informação contida nos demais pares candidatos. Outros métodos, como o NCA, agregam respostas negativas, mas falham em modelar conjuntamente os candidatos positivos, resultando em uma utilização incompleta da estrutura de preferência.

Metodologia: RIMS

Os autores propõem o RIMS (Retrieval-Augmented Generation via Smoothed Multi-pair Aggregation), um framework de três estágios projetado para aproveitar totalmente os dados de preferência de múltiplos pares para SLMs sem depender de modelos proprietários.

1. Geração de Dados de Preferência de Múltiplos Pares

O RIMS gera dados de preferência usando o próprio SLM alvo. Através de rejeição por amostragem com prompting de Cadeia de Pensamento (CoT), o modelo gera múltiplos raciocínios. Respostas que coincidem com a verdade fundamental (ground truth) são retidas como preferidas ( $y_w$ ), enquanto as saídas RAG vanilla (sem orientação da verdade fundamental) servem como candidatos despreferidos ( $y_l$ ). Este processo produz múltiplos pares $(y_w, y_l)$ por consulta, criando um conjunto de dados rico de preferências de múltiplos pares.

2. Agregação Suave Diferenciável

A inovação central do RIMS é substituir a seleção dura não diferenciável (argmin/argmax) por um mecanismo de agregação suave diferenciável baseado na função LogSumExp (LSE).

Em vez de selecionar um único par difícil, o RIMS agrega todos os candidatos preferidos em uma resposta pseudo-preferida unificada ( $\tilde{y}_w$ ) e todos os candidatos despreferidos em uma resposta pseudo-despreferida ( $\tilde{y}_l$ ).
A agregação utiliza um parâmetro de temperatura $\tau$ $τ$ controlado por um limite de erro $M$ $M$ .
- Para respostas preferidas, ele aproxima a verossimilhança mínima (o positivo mais difícil) usando o LSE negado.
- Para respostas despreferidas, ele aproxima a verossimilhança máxima (o negativo mais difícil) usando o LSE padrão.
Este operador é diferenciável, permitindo que os sinais de gradiente se propaguem de todos os pares candidatos simultaneamente. Ao contrário do RoseRAG, que fixa a seleção do par uma vez, a agregação do RIMS adapta-se dinamicamente conforme a política evolui durante o treinamento.

3. Otimização de Preferência

O objetivo suavizado é agnóstico ao algoritmo. Ele pode ser aplicado a algoritmos padrão de otimização de preferência (DPO, CPO, ORPO) simplesmente substituindo as verossimilhanças da política original na função de pontuação pelas verossimilhanças pseudo-agregadas ( $\pi_\theta(\tilde{y}_w|x)$ e $\pi_\theta(\tilde{y}_l|x)$ ).

Contribuições Teóricas

O artigo fornece duas garantias teóricas fundamentais:

Erro de Aproximação Controlável: Os autores provam que o suavizamento baseado em LSE admite um erro de aproximação controlável em relação ao máximo/mínimo exato. Eles derivam uma relação entre a temperatura $\tau$ , o gap de topo $\delta$ entre os escores dos candidatos e o limite de erro $M$ , permitindo que os praticantes controlem adaptativamente a nitidez da aproximação.
Estabilidade de Gradiente: Sob amostragem de pool de candidatos, os autores demonstram que a agregação suave produz um alinhamento de gradiente comprovadamente mais justo ao objetivo oracle do que a seleção dura. A seleção dura introduz um piso de variância intrínseco devido à aleatoriedade discreta da seleção de pares, enquanto a agregação suave reduz essa variância ao utilizar uma mistura contínua ponderada de todos os candidatos.

Resultados Experimentais

O RIMS foi avaliado em quatro benchmarks de questionamento de múltiplos saltos (HotPotQA, 2WikiMultiHopQA, MultiHopRAGQA e MuSiQueQA) utilizando dois backbones de SLM: Qwen2.5-1.5B-Instruct e Gemma-2-2b-it.

Desempenho: O RIMS superou consistentemente os baselines de estado da arte (incluindo RoseRAG, InstructRAG e várias estratégias de prompting) em todos os datasets. Os ganhos foram particularmente pronunciados em datasets desafiadores de múltiplos saltos com contextos de recuperação ruidosos, alcançando melhorias consistentes em Exact Match (EM) e scores F1.
Robustez ao Ruído: Em experimentos variando o número de documentos recuperados ( $K$ ), o RIMS manteve um desempenho superior conforme $K$ aumentava e o ruído crescia, enquanto o desempenho do RAG vanilla degradou significativamente.
Estudos de Ablação:
- Estratégia de Agregação: O RIMS (suavização LSE) superou significativamente outras estratégias de agregação, como média simples ou média ponderada fixa, confirmando que a estrutura de margem é preservada enquanto utiliza todos os candidatos.
- Agnosticismo de Algoritmo: O método provou ser eficaz quando aplicado ao DPO, CPO e ORPO, com o DPO apresentando o maior desempenho.
- Hiperparâmetros: A análise de sensibilidade mostrou que tamanhos de suavização moderados e um limite de erro $M=1$ ofereceram o melhor equilíbrio entre suavidade de otimização e fidelidade de ranking.

Significância e Alegações

O artigo afirma que o RIMS aborda uma lacuna crítica no RAG baseado em SLM: a subutilização de dados de preferência de múltiplos pares. Ao passar de uma seleção de par dura e estática para uma agregação suave e diferenciável de todos os sinais disponíveis, o RIMS permite que modelos pequenos distingam melhor a evidência relevante do ruído.

Os autores enfatizam que sua abordagem não requer modelos maiores ou APIs proprietárias para a geração de dados, tornando-a prática para ambientes de recursos limitados. Teoricamente, o trabalho estabelece que a agregação suave fornece um sinal de treinamento mais estável com menor variância do que a seleção dura, oferecendo uma alternativa fundamentada aos métodos de margem existentes. Os resultados sugerem que a agregação estruturada de múltiplos pares é essencial para a utilização robusta de evidências em condições de recuperação ruidosa, permitindo que SLMs alcancem níveis de desempenho anteriormente considerados necessários apenas para arquiteturas maiores ou estratégias de inferência mais complexas.