Beyond Topical Similarity: Contrastive Evidence Retrieval with Interpretable Attention Alignment in RAG

Resumen Técnico: Atención de Racional de Evidencia Contrastiva (CERA)

Planteamiento del Problema
Los sistemas de Generación Aumentada por Recuperación (RAG) buscan mejorar la veracidad de los Modelos de Lenguaje Extensos (LLMs) mediante la restricción de sus salidas con documentos externos. Sin embargo, persiste una limitación crítica: los recuperadores densos estándar suelen confundir la similitud temática con la validez de la evidencia. Un recuperador puede priorizar pasajes que están léxicamente relacionados con una consulta, pero que son fácticamente poco fiables, contradictorios o simplemente adyacentes temáticamente, en lugar de aquellos que contienen evidencia de apoyo específica. Esta "recuperación ruidosa" conduce a alucinaciones y salidas sesgadas, particularmente en dominios de alto riesgo como la atención médica. Además, los sistemas de recuperación existentes carecen de interpretabilidad; optimizan qué se recupera, pero fallan al explicar por qué se seleccionó una evidencia específica o cómo esta sustenta una decisión. Los métodos de interpretabilidad actuales dependen en gran medida de explicaciones post-hoc en lugar de mecanismos intrínsecos que alineen la atención del modelo con el razonamiento humano.

Metodología
Los autores proponen Atención de Racional de Evidencia Contrastiva (CERA), un marco de recuperación densa diseñado para inyectar un "sesgo inductivo de evidencia" en el aprendizaje contrastivo. CERA opera sobre dos pilares fundamentales:

1. Selección de Negativos Difíciles Basada en la Subjetividad:
   En lugar de tratar todos los documentos no relevantes como igualmente negativos, CERA emplea una estrategia consciente de la subjetividad para seleccionar "negativos difíciles". Dentro de un documento, los fragmentos que no se solapan con el intervalo de evidencia de oro se clasifican mediante una puntuación de subjetividad (calculada vía TextBlob). Se seleccionan los $K$ fragmentos más subjetivos como negativos difíciles. Esto obliga al modelo a distinguir entre contenido que es meramente subjetivo u opinativo frente a contenido que constituye evidencia objetiva y verificable, refinando así el espacio de incrustación (embedding) más allá de la simple proximidad semántica.

2. Alineación de Atención Interpretable:
   CERA introduce una función de pérdida auxiliar para supervisar los mecanismos de atención internos del modelo.

   • Supervisión de Racionales: El marco utiliza racionales fácticos anotados por humanos (intervalos de evidencia) como señales de verdad fundamental.
   • Enmascaramiento Ponderado por POS: Se aplica un esquema de ponderación de categorías gramaticales (POS) a estos racionales, asignando mayores pesos a los tokens que portan contenido (sustantivos, verbos, adjetivos) y menores pesos a las palabras funcionales.
   • Pérdida de Alineación: El modelo minimiza la divergencia de Kullback-Leibler (KL) entre la distribución de atención normalizada del token [CLS] hacia los tokens de entrada y la distribución del racional ponderado. Esto fuerza a la mecánica de atención a alinearse con los tokens específicos que constituyen la evidencia de apoyo, en lugar de depender únicamente de la similitud de distribución.

El modelo se entrena utilizando una función de pérdida dual: una pérdida contrastiva basada en tripletas ($L_{triplet}$) para separar la evidencia positiva de los negativos difíciles, y la pérdida de alineación de atención ($L_{alignment}$), ponderada por un hiperparámetro $\lambda$.

Contribuciones Clave

1. Marco CERA: El primer marco de recuperación que combina la selección de negativos difíciles basada en la subjetividad con la alineación de atención interpretable, inyectando explícitamente un sesgo inductivo de evidencia en la recuperación densa.
2. Objetivo de Atención Alineada con el Racional: Un novedoso objetivo de entrenamiento que supervisa la atención de CLS-a-token utilizando racionales humanos ponderados por POS. Esto permite al recuperador identificar no solo fragmentos relevantes, sino los tokens específicos que constituyen la evidencia, mejorando la fidelidad sin sacrificar el rendimiento de la recuperación.
3. Validación Empírica: Experimentos exhaustivos en el conjunto de datos Evidence Inference 2.0 (reportes de ensayos clínicos) demuestran que CERA supera tanto al baseline Contriever como a los métodos estándar de selección de negativos difíciles.

Resultados
Evaluado en un corpus de 3,393 reportes de ensayos clínicos, CERA demostró mejoras significativas en la efectividad de la recuperación y la interpretabilidad:

• Rendimiento de Recuperación: CERA logró ganancias sustanciales sobre el baseline de negativos difíciles, con mejoras de +0.0768 en Recall@1, +0.1073 en Recall@3 y +0.1307 en Recall@5. El Rango Recíproco Medio (MRR) aumentó en +0.1009.
• Interpretabilidad y Fidelidad: El objetivo de alineación de atención mejoró significativamente las métricas de fidelidad. Específicamente, la puntuación de Suficiencia (que mide qué tan bien la explicación refleja el proceso de decisión del modelo) cayó de 0.2073 (Contriever) a 0.0939 bajo una alineación más fuerte ($\lambda=0.05$), indicando que el modelo depende de evidencia más compacta y adecuada.
• Veracidad: Utilizando un ensamble de jueces de LLM (GPT-5.4, Qwen3-Max, Mistral Large 3) para evaluar la relevancia fáctica de los fragmentos recuperados, CERA superó consistentemente al baseline en todos los rangos, con la Puntuación del Jurado (Jury Score) mejorando de 1.1881 a 1.9015 en el Rango 1.
• Ablación: El estudio confirmó que los negativos basados en la subjetividad proporcionan una señal contrastiva más informativa que los negativos difíciles convencionales. Sin embargo, aumentar el peso de alineación ($\lambda$) más allá de 0.05 degradó ligeramente las métricas de recuperación, lo que sugiere un compromiso (trade-off) entre la precisión de la recuperación y la fuerza de la alineación de la atención.

Significancia y Reivindicaciones
El artículo afirma que CERA representa un cambio de la optimización de la "similitud tópica" pura hacia la optimización del "soporte de evidencia". Al alinear las distribuciones de atención con los racionales anotados por humanos, el marco promueve una explicación más fiel del comportamiento del modelo, abordando la naturaleza de "caja negra" de la recuperación. Los autores sostienen que este enfoque es particularmente crítico para dominios de alto riesgo donde las salidas sin sustento pueden tener consecuencias éticas y de seguridad significativas. Aunque el trabajo es un prototipo de investigación y no un sistema de decisión clínica independiente, demuestra que los sistemas de recuperación pueden entrenarse para identificar tokens de evidencia específicos, mejorando así tanto la fiabilidad como la interpretabilidad de los sistemas RAG. Los autores reconocen limitaciones, incluyendo la dependencia de datos anotados por expertos y la restricción de los experimentos al dominio biomédico.