Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach

Resumen Técnico: Reclasificación Consciente de la Fuente para la Generación Aumentada por Recuperación

Declaración del Problema
Los procesos estándar de Generación Aumentada por Recuperación (RAG) dependen típicamente solo de la similitud semántica entre los embeddings de la consulta y el documento para clasificar el contenido recuperado. Este enfoque trata a todos los documentos como entradas igualmente válidas, independientemente de su origen, credibilidad o potencial de daño. En entornos de dominio abierto o no curados, esto crea una vulnerabilidad donde documentos semánticamente plausibles pero fácticamente engañosos (por ejemplo, publicaciones generadas por IA o foros de usuarios) pueden ser recuperados con la misma prioridad que directrices clínicas revisadas por pares o informes gubernamentales. El artículo aborda la necesidad de un mecanismo para distinguir entre fuentes de alta credibilidad y de baja credibilidad dentro de la función de clasificación de recuperación sin alterar los modelos de lenguaje o de embeddings subyacentes.

Metodología
Los autores proponen una modificación simple e interpretable al proceso de recuperación estándar de RAG: una capa de reclasificación consciente de la fuente que opera post-recuperación pero antes de la ventana de contexto final. El mecanismo central consiste en asignar un prior de fiabilidad, $\lambda(s)$, a cada documento basado en su tipo de fuente $s$.

La puntuación de recuperación se repondera utilizando la siguiente fórmula multiplicativa:
$$\text{score}_{SA}(q, d) = \text{sim}(q, d) \times \lambda(s_d)$$
Donde $\text{sim}(q, d)$ es la puntuación de similitud semántica estándar y $\lambda(s_d)$ es un prior definido previamente basado en el dominio.

Los componentes clave de la implementación incluyen:

• Taxonomía de Fuentes: Los documentos se categorizan en tipos como revisado_por_pares, gubernamental, noticias_establecidas, blog, generado_por_usuario y generado_por_IA.
• Priors: Se asignan valores de fiabilidad fijos (por ejemplo, 0.95 para revisado por pares, 0.30 para generado por IA) basados en supuestos de dominio en el sector de la salud.
• Expansión de Candidatos: Para permitir que la ponderación reordene significativamente los resultados, el sistema recupera un conjunto expandido de candidatos ($3k$) antes de aplicar la ponderación de fiabilidad y seleccionar los top-$k$.
• Extensiones Opcionales: El marco incluye un suavizado de vecino de un solo salto (single-hop neighbor smoothing) opcional (ajustando la fiabilidad basándose en los vecinos más cercanos) y un mecanismo de actualización de pesos post-consulta que ajusta los priors basándose en retroalimentación heurística (retroalimentación de un oráculo simulado en este estudio).

Configuración Experimental
El marco fue evaluado en un corpus controlado de 120 documentos en el dominio de la salud y la medicina. El conjunto de datos incluyó 10 documentos diseñados adversariamente para ser semánticamente cercanos a las consultas de evaluación pero que contienen afirmaciones médicas engañosas. Estos documentos adversarios fueron asignados a tipos de fuente de baja credibilidad (por ejemplo, generado_por_IA). La evaluación comparó el sistema consciente de la fuente contra un baseline de solo similitud a través de 10 consultas médicas utilizando métricas como Precisión@5, NDCG@5, Mean Reciprocal Rank (MRR) y tasa de acierto adversario. Todos los experimentos se ejecutaron en el clúster de computación de alto rendimiento Rosie en la Milwaukee School of Engineering.

Resultados Clave
En este entorno controlado, el enfoque de reclasificación consciente de la fuente arrojó los siguientes resultados:

• Mejora de la Precisión: La Precisión@5 mejoró de 0.48 (baseline) a 0.72, un aumento relativo del 50%.
• Supresión Adversaria: La tasa de acierto adversario promedio (frecuencia de documentos de baja credibilidad en el top 5) disminuyó de 0.32 a 0.28.
• Calidad de Clasificación: El MRR mejoró a 1.000, indicando que el primer documento recuperado fue relevante para todas las consultas.
• Sensibilidad: El análisis de sensibilidad mostró que la magnitud de la mejora es impulsada por la dispersión entre los priors de alta y baja fiabilidad. Una dispersión "comprimida" produjo ganancias modestas, mientras que las dispersiones "actual" y "agresiva" produjeron mejoras consistentes.
• Limitaciones Observadas: El método no fue uniformemente beneficioso; para dos consultas específicas (q006 y q010), el sistema consciente de la fuente funcionó ligeramente peor que el baseline, lo que sugiere que las estructuras de corpus específicas de un tema pueden, a veces, causar que la reponderación haga emerger documentos adversarios que desplazan a otros documentos limpios de baja fiabilidad.

Contribuciones Clave
El artículo realiza tres contribuciones principales:

1. Formulación: Una formulación de reclasificación ponderada por fiabilidad que funciona como una modificación post-recuperación, requiriendo ningún cambio en el modelo de lenguaje o el modelo de embeddings subyacente.
2. Evaluación: Una evaluación de inyección adversaria controlada bajo un modelo de amenaza específico donde los documentos de baja credibilidad son identificables mediante metadatos, demostrando el efecto de supresión de los priors de fiabilidad.
3. Análisis Empírico: Un análisis en un corpus del dominio de la salud que sugiere que la ponderación de la procedencia de la fuente puede reducir la recuperación adversaria y mejorar la precisión en entornos controlados.

Significancia y Reivindicaciones
Los autores enmarcan explícitamente este trabajo como una evaluación empírica de una modificación simple en lugar de una propuesta de un nuevo modelo de recuperación o una afirmación de robustez general. La significancia radica en demostrar que la ponderación de la procedencia de la fuente, ligera e interpretable, es una estrategia viable para mitigar la degradación de la calidad de la fuente en los procesos de RAG dentro de los límites de la configuración experimental.

El artículo mantiene un tono modesto respecto a sus afirmaciones:

• No pretende resolver el problema general de la desinformación, señalando que un adversario consciente del sistema podría suplantar los metadatos de la fuente para evadir la penalización.
• Reconoce que los priors de fiabilidad son definidos manualmente y no aprendidos de los datos.
• Aclara que el componente de aprendizaje adaptativo depende de la retroalimentación de un oráculo (etiquetas de verdad fundamental) y no es un mecanismo desplegable para la retroalimentación del usuario en el mundo real.
• Enfatiza que los resultados son exploratorios debido a la pequeña escala (120 documentos, 10 consultas) y la falta de pruebas de significancia estadística formal.

En última instancia, el trabajo sugiere que incorporar priors de fuente informados por el dominio es un paso práctico y no invasivo para mejorar la fiabilidad de la recuperación, al tiempo que destaca la necesidad de trabajos futuros para abordar las señales a nivel de contenido, aprender los priors de los datos y probar contra modelos de amenaza adversarios más sofisticados.