Resumen Técnico: CoRect

1. El Problema: Conflictos de Conocimiento en RAG

El problema central que aborda este trabajo es el conflicto de conocimiento en los modelos de lenguaje de gran escala (LLMs) utilizados en sistemas de Generación Aumentada por Recuperación (RAG). Este conflicto ocurre cuando la información recuperada de fuentes externas (evidencia) contradice el conocimiento paramétrico (memoria interna) del modelo.

En estas situaciones, los LLMs tienden a sufrir de "supresión paramétrica": aunque las capas iniciales del modelo logran procesar la evidencia correcta, las capas profundas (específicamente las redes Feed-Forward o FFN) sobrescriben estas representaciones con sus sesgos internos, provocando alucinaciones y respuestas infieles al contexto.

Los métodos actuales fallan porque:

• Intervenciones en el decoding (salida): Tratan al modelo como una "caja negra" y actúan solo al final, lo que puede desestabilizar la fluidez lingüística.
• Edición de modelos (como ROME): Requieren conocer la respuesta correcta (ground-truth) de antemano, lo cual es imposible en tareas de generación abierta durante la inferencia.

2. Metodología: El Marco CoRect

Los autores proponen CoRect, un marco de trabajo training-free (sin necesidad de reentrenamiento) que interviene directamente en el flujo residual (residual stream) del modelo para rectificar los estados ocultos. El proceso se divide en dos etapas:

Etapa 1: Selección de Tokens Confiables (Trustworthy Token Selection)

Para evitar depender de una respuesta externa, CoRect infiere un token objetivo ($\tilde{t}^*$) directamente del contexto mediante dos mecanismos:

1. Estimación de Información Mutua Contextual: Se realizan dos pasadas (forward passes): una con el contexto completo y otra con un contexto nulo (solo instrucciones). Se calcula la diferencia de logit para identificar qué tokens son impulsados específicamente por la evidencia.
2. Filtro de Atención: Se verifica que los candidatos seleccionados tengan una masa de atención significativa hacia las posiciones donde aparecen en el contexto, asegurando que el token esté "anclado" a la evidencia.

Etapa 2: Rectificación del Estado Oculto (Hidden State Rectification)

Una vez identificado el token objetivo y las capas que causan la supresión, CoRect aplica una intervención mecánica:

• Localización de capas: Identifica las capas FFN donde la contribución del módulo hacia el token objetivo es negativa ($u_l^\top w_{\tilde{t}^*} < 0$).
• Parche de rectificación: En lugar de inyectar nueva información, aplica un "parche" ($\phi_l$) que cancela la componente de la activación que inhibe al token correcto. Esto se define como un paradigma de desinhibición: se elimina el ruido del sesgo interno para permitir que la información de la evidencia fluya hacia la salida sin forzar artificialmente el texto.

3. Contribuciones Clave

• Descubrimiento del fenómeno de Supresión Paramétrica: Identifican mediante Logit Lens que las capas profundas de las FFN actúan como memorias que sobrescriben la evidencia contextual.
• Intervención agnóstica al objetivo: Proponen un método que localiza y corrige las capas conflictivas durante la inferencia sin necesidad de etiquetas de entrenamiento o respuestas correctas previas.
• Eficiencia y Fluidez: A diferencia de los métodos que manipulan los logits finales, CoRect actúa en los estados ocultos, preservando la coherencia semántica y la calidad lingüística del modelo.

4. Resultados Experimentales

El método fue evaluado en tareas de Preguntas y Respuestas (QA) y Resumen (Summarization) utilizando diversos modelos (Qwen, LLaMA, Mistral).

• QA (Natural Questions, SQuAD, etc.): CoRect superó consistentemente a los estados del arte (como CAD y AdaCAD), especialmente en escenarios de alto conflicto como NQ-Swap, donde la evidencia contradice directamente la memoria del modelo.
• Resumen (XSum, CNN-DailyMail): Demostró una mejora significativa en la fidelidad factual (AlignScore) sin degradar la calidad del resumen (ROUGE-L).
• Robustez: Los experimentos de ablación confirmaron que la estrategia de selección de tokens y el uso de filtros de atención son críticos para el éxito del método.

5. Significado e Impacto

CoRect representa un cambio de paradigma: de intentar "corregir la salida" a "rectificar el proceso de pensamiento interno" del modelo. Al abordar el problema desde una perspectiva de interpretabilidad mecánica, ofrece una solución más robusta y elegante para el problema de las alucinaciones en sistemas RAG, permitiendo que los modelos sean más fieles a la evidencia externa sin perder su capacidad de lenguaje natural.