Resumo Técnico: Especialização de Pares Consciente de Regimes para RAG Robusto sob Conflitos de Conhecimento Heterogêneos (RAPS-DA)

1. Declaração do Problema

A Geração Aumentada por Recuperação (RAG) aprimora modelos de linguagem ao fundamentar a geração em um contexto externo. No entanto, os sistemas RAG enfrentam um "dilema de confiança-resistência" quando o contexto recuperado conflita com o conhecimento paramétrico (PK) do modelo. Os métodos de robustez existentes frequentemente tratam o conflito de conhecimento como um fenômeno homogêneo, aplicando supervisão agnóstica ao regime através de um espectro de confiabilidade. Essa abordagem leva a sinais de otimização conflitantes:

• Fundamentação (Grounding): O contexto confiável deve ser integrado.
• Arbitragem (Arbitration): Evidências de qualidade mista ou contraditórias exigem confiança seletiva.
• Resistência (Resistance): Contextos adversariais ou contrafatuais devem ser rejeitados em favor do PK.

As soluções atuais, incluindo estratégias de prompting, decodificação e treinamento de política única (Ajuste Fino Supervisionado ou Aprendizado por Reforço), falham em desmembrar esses comportamentos incompatíveis. Elas ou carecem de mecanismos de adaptação treináveis ou impõem um sinal de treinamento único que causa interferência entre regimes, levando a um subajuste sistemático em todos os regimes de confiabilidade. Além disso, a destilação on-policy (OPD) ingênua usando um único professor herda esses problemas de interferência, enquanto configurações de múltiplos professores sem roteamento cuidadoso introduzem ruído de supervisão e instabilidade.

2. Metodologia: RAPS-DA

Os autores propõem o RAPS-DA (Especialização de Pares Consciente de Regimes com Recozimento de Dificuldade), um framework de treinamento projetado para lidar com conflitos de conhecimento heterogêneos tanto nos níveis de amostra quanto de token. O framework utiliza três professores pares de mesma escala treinados a partir de um modelo base compartilhado, garantindo que as melhorias derivem da especialização e não do aumento da capacidade do modelo.

2.1 Supervisão de Pares Roteada por Regime (Nível de Amostra)

Para abordar a heterogeneidade de regime no nível da amostra, os dados de treinamento são particionados em três regimes: Fundamentação (G), Arbitragem (A) e Resistência (R).

• Especialização de Pares: Três professores pares ($\pi_{T_r}$) são ajustados via Ajuste Fino Supervisionado (SFT) em subconjuntos específicos de regime derivados de um modelo base compartilhado ($\pi_{base}$).
• Roteamento Rígido (Hard Routing): Cada amostra de treinamento é roteada rigidamente para seu professor correspondente ao regime. Isso elimina as atualizações de gradiente contraditórias que ocorrem quando um único professor tenta aprender comportamentos conflitantes simultaneamente.
• Reverse-KL On-Policy: O estudante gera rollouts on-policy e recebe supervisão via divergência Kullback-Leibler reversa (reverse-KL) contra o professor roteado. Isso é reformulado como um problema de maximização de recompensa densa de nível de token, onde o modelo base serve como uma âncora KL implícita. A recompensa implícita para um token $a_t$ é definida como $r^{(r)}_t = \log \frac{\pi_{T_r}(a_t|s_t)}{\pi_{base}(a_t|s_t)}$.

2.2 Seleção de Token Consciente de Conflito (Nível de Token)

Para abordar o ruído de supervisão no nível do token, um seletor de camada dupla filtra e pondera tokens com base em três sinais diagnósticos:

1. Conflito Entre Professores ($C(t)$): Divergência de Jensen-Shannon entre todos os professores pares, identificando tokens no núcleo do conflito de conhecimento.
2. Lacuna Estudante-Professor ($G(t)$): Reverse-KL entre o estudante e o professor roteado, medindo a necessidade de correção.
3. Entropia do Estudante ($H(t)$): Entropia normalizada da distribuição do estudante, indicando incerteza preditiva.

O processo de seleção envolve:

• Máscara Rígida (Elegibilidade): Filtra tokens onde o estudante já está alinhado (baixa lacuna) ou tokens onde o estudante é altamente incerto e fortemente desfavorecido pelo professor (indicando rollouts fora da variedade/manifold). Crucialmente, retém tokens "confiantes-mas-desalinhados" (baixa entropia, alta lacuna), pois eles representam oportunidades valiosas de correção.
• Peso Suave (Prioridade): Entre os tokens elegíveis, um peso $\omega(t, s)$ aumenta a importância de tokens onde o estudante está confiante, mas desalinhado com o professor, priorizando a correção de erros arraigados.

2.3 Recozimento de Dificuldade (Difficulty Annealing)

Para estabilizar a interação entre o roteamento e a seleção de tokens, o framework emprega um cronograma de recozimento de dificuldade.

• Racional: Iniciar o treinamento apenas com tokens de alto conflito pode impedir que o estudante construa fundamentos estáveis e consistentes com o regime.
• Mecanismo: O treinamento começa com ampla cobertura de tokens (razão de retenção $p(s)=1$) e estreita progressivamente para os $p_{final}$ tokens mais difíceis conforme o treinamento avança. A dificuldade é pontuada com base na intensidade do conflito e na interação entre o conflito e a confiança do estudante.

2.4 Objetivo Unificado

O objetivo de treinamento final agrega a perda reverse-KL ponderada e mascarada através de todos os regimes. O estudante é um modelo único que não requer rótulos de regime ou acesso aos professores pares durante a inferência.

3. Principais Contribuições

1. Caracterização do Conflito: O artigo caracteriza o conflito de conhecimento em RAG como um espectro de regimes de confiabilidade (Fundamentação, Arbitragem, Resistência) e demonstra que a supervisão agnóstica ao regime induz sinais de otimização conflitantes.
2. Framework RAPS-DA: Um novo framework que combina supervisão de pares roteada por regime, seleção de tokens consciente de conflito e recozimento de dificuldade para abordar conflitos heterogêneos nos níveis de amostra e de token.
3. Validação Empírica: Experimentos extensos em cinco cenários de conflito in-distribution e dois benchmarks out-of-distribution (OOD) mostram que o RAPS-DA supera os baselines de prompting, decodificação, ajuste fino, RL e OPD de professor único.

4. Resultados Experimentais

Os experimentos foram conduzidos nos backbones Qwen2.5-7B-Instruct e Llama3.1-8B-Instruct, com generalização testada em escalas de 3B e 14B.

• Desempenho In-Distribution: O RAPS-DA alcançou resultados de estado da arte em todos os regimes. No backbone Qwen-7B, ele melhorou o forte baseline Knowledgeable-R1 (KR1) em 7,4 pontos em Fundamentação, 6,6 em Arbitragem e 11,2 em Resistência. Notavelmente, ele melhorou a Resistência (rejeição adversarial) em 11,2 pontos sobre o KR1 sem sacrificar a precisão de Fundamentação, um compromisso comum em outros métodos.
• Generalização Out-of-Distribution: No benchmark ConflictQA, o RAPS-DA alcançou 42,7% de Exatidão (Exact Match - EM), superando todos os baselines. No TruthfulQA (sem contexto), manteve 4,4% de EM, igualando o modelo base e confirmando que o treinamento especializado por regime não corrói o conhecimento paramétrico.
• Estudos de Ablação:
  • Professor Único vs. Múltiplos Professores: Um baseline de OPD de professor único (OPCD) sofreu quedas significativas em Arbitragem (37,3% vs. 78,6%) e Resistência (31,0% vs. 48,1%), validando a necessidade de professores especializados por regime.
  • Roteamento vs. Seleção: Nem o roteamento nem a seleção de tokens sozinhos alcançaram o desempenho total do modelo, confirmando sua natureza complementar.
  • Recozimento (Annealing): Máscaras estáticas ou cronogramas de janela deslizante (do difícil para o fácil) tiveram um desempenho significativamente inferior ao cronograma de recozimento linear (do fácil para o difícil), particularmente no regime de Resistência, destacando a necessidade de ampla cobertura inicial.
• Generalização de Escala: O método apresentou melhorias consistentes tanto em modelos de 3B quanto de 14B, com o regime de Resistência apresentando os maiores ganhos relativos em todas as escalas.

5. Significância e Alegações

O artigo afirma que a resolução robusta de conflitos em RAG é fundamentalmente um problema de especialização, e não um problema de escala. Ao decompor o conflito em distintos regimes de confiabilidade e atribuir especialistas pares de mesma escala para cada um, o RAPS-DA evita a interferência entre regimes inerente ao treinamento de política única.

Os autores enfatizam que os ganhos de desempenho originam-se da qualidade da supervisão especializada por regime e dos sinais de aprendizado direcionados ao nível de token, e não pelo uso de um professor maior ou mais forte. O framework demonstra que um único modelo estudante pode aprender a integrar, arbitrar e rejeitar evidências apropriadamente sem exigir rótulos de regime durante a inferência, aproximando-se do limite superior de um especialista de regime oracle. Isso sugere que futuros sistemas RAG robustos devem priorizar o desmembramento de sinais de aprendizado conflitantes em vez de simplesmente aumentar a capacidade do modelo ou aplicar supervisão uniforme.