Resumen Técnico: Especialización de Pares Consciente del Régimen para un RAG Robusto bajo Conflictos de Conocimiento Heterogéneos (RAPS-DA)

1. Planteamiento del Problema

La Generación Aumentada por Recuperación (RAG) mejora los modelos de lenguaje al fundamentar la generación en un contexto externo. Sin embargo, los sistemas RAG enfrentan un "dilema de confianza-resistencia" cuando el contexto recuperado entra en conflicto con el conocimiento paramétrico (PK) del modelo. Los métodos de robustez existentes suelen tratar el conflicto de conocimiento como un fenómeno homogéneo, aplicando una supervisión agnóstica al régimen a través de un espectro de fiabilidad. Este enfoque conduce a señales de optimización contradictorias:

• Fundamentación (Grounding): El contexto fiable debe integrarse.
• Arbitraje (Arbitration): La evidencia de calidad mixta o contradictoria requiere una confianza selectiva.
• Resistencia (Resistance): El contexto adversarial o contrafáctico debe ser rechazado en favor del PK.

Las soluciones actuales, incluyendo el prompting, las estrategias de decodificación y el entrenamiento de política única (ajuste fino supervisado o aprendizaje por refuerzo), no logran desentrañar estos comportos incompatibles. O carecen de mecanismos de adaptación entrenables o imponen una señal de entrenamiento única que causa interferencia entre regímenes, lo que conduce a un subajuste sistemático en todos los regímenes de fiabilidad. Además, la destilación on-policy (OPD) ingenua utilizando un único profesor hereda estos problemas de interferencia, mientras que los entornos de múltiples profesores sin un enrutamiento cuidadoso introducen ruido de supervisión e inestabilidad.

2. Metodología: RAPS-DA

Los autores proponen RAPS-DA (Especialización de Pares Consciente del Régimen con Recocido de Dificultad), un marco de entrenamiento diseñado para manejar conflictos de conocimiento heterogéneos tanto a nivel de muestra como de token. El marco utiliza tres profesores pares de la misma escala entrenados desde un modelo base compartido, asegurando que las mejoras provengan de la especialización y no de un aumento en la capacidad del modelo.

2.1 Supervisión de Pares Enrutada por Régimen (Nivel de Muestra)

Para abordar la heterogeneidad de regímenes a nivel de muestra, los datos de entrenamiento se particionan en tres regímenes: Fundamentación (G), Arbitraje (A) y Resistencia (R).

• Especialización de Pares: Tres profesores pares ($\pi_{T_r}$) son ajustados mediante Ajuste Fino Supervisado (SFT) en subconjuntos específicos de cada régimen derivados de un modelo base compartido ($\pi_{base}$).
• Enrutamiento Duro (Hard Routing): Cada muestra de entrenamiento es enrutada de forma estricta a su profesor correspondiente según el régimen. Esto elimina las actualizaciones de gradiente contradictorias que ocurren cuando un solo profesor intenta aprender comportamientos conflictivos simultáneamente.
• Reverse-KL On-Policy: El estudiante genera rollouts on-policy y recibe supervisión mediante la divergencia de Kullback-Leibler inversa (reverse-KL) contra el profesor enrutado. Esto se reformula como un problema de maximización de recompensa densa a nivel de token, donde el modelo base sirve como un ancla KL implícita. La recompensa implícita para un token $a_t$ se define como $r^{(r)}_t = \log \frac{\pi_{T_r}(a_t|s_t)}{\pi_{base}(a_t|s_t)}$.

2.2 Selección de Tokens Consciente del Conflicto (Nivel de Token)

Para abordar el ruido de supervisión a nivel de token, un selector de doble capa filtra y pondera los tokens basándose en tres señales diagnósticas:

1. Conflicto entre Profesores ($C(t)$): Divergencia de Jensen-Shannon entre todos los profesores pares, identificando tokens en el núcleo del conflicto de conocimiento.
2. Brecha Estudiante-Profesor ($G(t)$): Reverse-KL entre el estudiante y el profesor enrutado, midiendo la necesidad de corrección.
3. Entropía del Estudiante ($H(t)$): Entropía normalizada de la distribución del estudiante, que indica la incertidumbre predictiva.

El proceso de selección implica:

• Máscara Dura (Elegibilidad): Filtra los tokens donde el estudiante ya está alineado (brecha baja) o los tokens donde el estudiante es altamente incierto y fuertemente desfavorecido por el profesor (lo que indica rollouts fuera de la variedad/manifold). Crucialmente, retiene los tokens "confiados pero desalineados" (entropía baja, brecha alta), ya que representan oportunidades valiosas de corrección.
• Peso Suave (Prioridad): Entre los tokens elegibles, un peso $\omega(t, s)$ aumenta la importancia de los tokens donde el estudiante es confiado pero está desalineado con el profesor, priorizando la corrección de errores arraigados.

2.3 Recocido de Dificultad (Difficulty Annealing)

Para estabilizar la interacción entre el enrutamiento y la selección de tokens, el marco emplea un esquema de recocido de dificultad.

• Racional: Comenzar el entrenamiento solo con tokens de alto conflicto puede impedir que el estudiante construya cimientos estables y consistentes con el régimen.
• Mecanismo: El entrenamiento comienza con una cobertura amplia de tokens (ratio de retención $p(s)=1$) y se estrecha progresivamente hacia los $p_{final}$ tokens más difíciles a medida que avanza el entrenamiento. La dificultad se califica según la intensidad del conflicto y la interacción entre el conflicto y la confianza del estudiante.

2.4 Objetivo Unificado

El objetivo de entrenamiento final agrega la pérdida de reverse-KL ponderada y enmascarada a través de todos los regímenes. El estudiante es un único modelo que no requiere etiquetas de régimen ni acceso a los profesores pares durante la inferencia.

3. Contribuciones Clave

1. Caracterización del Conflicto: El artículo caracteriza el conflicto de conocimiento en RAG como un espectro de regímenes de fiabilidad (Fundamentación, Arbitraje, Resistencia) y demuestra que la supervisión agnóstica al régimen induce señales de optimización contradictorias.
2. Marco RAPS-DA: Un nuevo marco que combina la supervisión de pares enrutada por régimen, la selección de tokens consciente del conflicto y el recocido de dificultad para abordar conflictos heterogéneos tanto a nivel de muestra como de token.
3. Validación Empírica: Experimentos extensos a través de cinco escenarios de conflicto in-distribución y dos benchmarks fuera de la distribución (OOD) muestran que RAPS-DA supera a las líneas base de prompting, decodificación, ajuste fino y de un solo profesor (OPD).

4. Resultados Experimentales

Los experimentos se realizaron utilizando backbones Qwen2.5-7B-Instruct y Llama3.1-8B-Instruct, con la generalización probada en escalas de 3B y 14B.

• Rendimiento In-Distribución: RAPS-DA logró resultados de vanguardia en todos los regímenes. En el backbone Qwen-7B, mejoró sobre la fuerte línea base Knowledgeable-R1 (KR1) en 7.4 puntos en Fundamentación, 6.6 en Arbitraje y 11.2 en Resistencia. Notablemente, mejoró la Resistencia (rechazo adversarial) en 11.2 puntos sobre KR1 sin sacrificar la precisión de la Fundamentación, un compromiso que se observa en otros métodos.
• Generalización Fuera de la Distribución (OOD): En el benchmark ConflictQA, RAPS-DA alcanzó un 42.7% de Exact Match (EM), superando a todas las líneas base. En TruthfulQA (sin contexto), mantuvo un 4.4% de EM, igualando al modelo base y confirmando que el entrenamiento especializado por régimen no erosiona el conocimiento paramétrico.
• Estudios de Ablación:
  • Un Solo Profesor vs. Múltiples Profesores: Una línea base de OPD de un solo profesor (OPCD) sufrió caídas significativas en Arbitraje (37.3% vs. 78.6%) y Resistencia (31.0% vs. 48.1%), validando la necesidad de profesores especializados por régimen.
  • Enrutamiento vs. Selección: Ni el enrutamiento ni la selección de tokens por sí solos alcanzaron el pleno rendimiento del modelo, confirmando su naturaleza complementaria.
  • Recocido (Annealing): El enmascaramiento estático o los esquemas de ventana deslizante (de difícil a fácil) funcionaron significativamente peor que el esquema de recocido lineal de fácil a difícil, particularmente en el régimen de Resistencia, resaltando la necesidad de una cobertura inicial amplia.
• Generalización de Escala: El método produjo mejoras consistentes tanto en modelos de 3B como de 14B, siendo el régimen de Resistencia el que mostró las mayores ganancias relativas en todas las escalas.

5. Significancia y Reivindicaciones

El artículo sostiene que la resolución robusta de conflictos en RAG es fundamentalmente un problema de especialización más que un problema de escalabilidad. Al descomponer el conflicto en distintos regímenes de fiabilidad y asignar pares especialistas de la misma escala a cada uno, RAPS-DA evita la interferencia entre regímenes inherente al entrenamiento de política única.

Los autores enfatizan que las ganancias de rendimiento se originan en la calidad de la supervisión especializada por régimen y en las señales de aprendizaje dirigidas a nivel de token, no en el uso de un profesor más grande o más fuerte. El marco demuestra que un único modelo estudiante puede aprender a integrar, arbitrar y rechazar evidencia de manera apropiada sin requerir etiquetas de régimen durante la inferencia, acercándose al límite superior de un oráculo especialista de régimen. Esto sugiere que los futuros sistemas RAG robustos deberían priorizar el desentrañamiento de las señales de aprendizaje conflictivas sobre el simple aumento de la capacidad del modelo o la aplicación de una supervisión uniforme.