Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

A continuación se presenta un resumen técnico detallado del artículo "Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models".

1. Enunciado del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) están diseñados para fundamentar los Modelos de Lenguaje Grande (LLM) en evidencia externa. Sin embargo, un modo de fallo crítico conocido como infidelidad ocurre cuando los modelos ignoran el contexto recuperado y dependen, en cambio, de su memoria paramétrica interna (conocimiento adquirido durante el preentrenamiento).

• Causa Raíz: Las funciones de pérdida estándar de predicción de siguiente token tratan todos los tokens por igual, sin distinguir entre la información derivada del contexto y los hechos memorizados. Sin señales de entrenamiento explícitas que recompensen la fundamentación en el contexto, los modelos recurren al conocimiento interno cuando surgen conflictos.
• Brecha: Las soluciones existentes se centran bien en la resolución de conflictos durante la inferencia (por ejemplo, Self-RAG, FaithfulRAG) o proporcionan puntos de referencia de evaluación a pequeña escala (por ejemplo, FaithEval con ~4.9K muestras). Existe una falta de datos de entrenamiento a gran escala y de alta calidad diseñados específicamente para forzar a los modelos a priorizar el contexto recuperado sobre la memoria interna mediante conflictos de conocimiento controlados.

2. Metodología: Construcción de Faithfulness-QA

Los autores proponen Faithfulness-QA, un conjunto de datos de 99,094 muestras construido mediante una tubería totalmente automatizada de cuatro etapas. El mecanismo central es la Sustitución de Entidades Contrafácticas, que crea conflictos artificiales entre el contexto y el conocimiento paramétrico probable del modelo.

A. Datos de Origen

El conjunto de datos se construye a partir de dos puntos de referencia de preguntas y respuestas (QA) extractivas complementarias:

1. SQuAD: 87,599 pares (párrafos de Wikipedia, longitud mediana de 701 caracteres).
2. TriviaQA: 87,041 pares (documentos de evidencia más largos, longitud mediana de 1,581 caracteres).

B. La Tubería de Cuatro Etapas

1. Construcción del Banco de Entidades:

   • Extracción de entidades nombradas de los contextos de origen utilizando el modelo NER en_core_web_lg de SpaCy.
   • Curación de un banco de 76,953 entidades únicas en 8 tipos: PERSONA, GPE, ORG, FECHA, CARDINAL, NORP, LOC y EVENTO.
   • Filtrado de entidades por longitud (2–100 caracteres).

2. Emparejamiento de Respuesta–Entidad:

   • Para cada muestra de QA $(q, c, a)$, el sistema intenta emparejar la respuesta $a$ con una entidad NER reconocida en el contexto $c$.
   • Utiliza una cascada de tres estrategias: coincidencia exacta, coincidencia de subcadena y superposición posicional.
   • Las muestras que no logran emparejarse con una entidad nombrada se filtran (este es el principal cuello de botella).

3. Sustitución de Entidades Contrafácticas (Etapa Central):

   • Identifica la entidad de respuesta original ($e_{orig}$) y su tipo ($t$).
   • Muestra una entidad de reemplazo ($e_{new}$) del banco que comparte el mismo tipo $t$ pero es distinta de $e_{orig}$.
   • Hace cumplir la compatibilidad de longitud ($0.3 \le |e_{new}|/|e_{orig}| \le 3.0$).
   • Reemplazo Global: Reemplaza todas las ocurrencias insensibles a mayúsculas y minúsculas de $e_{orig}$ con $e_{new}$ en el contexto para crear $c'$.
   • La nueva respuesta "fiable" se convierte en $e_{new}$.

4. Filtrado de Calidad y División:

   • Aplica 6 verificaciones basadas en reglas (por ejemplo, asegurar que la nueva entidad esté en el contexto modificado, que la original se haya eliminado, que la longitud del contexto sea suficiente, que no haya reemplazos excesivos).
   • Divide las muestras que superan el filtro en Entrenamiento/Desarrollo/Prueba (80/10/10) con una semilla fija (42).
   • Toda la tubería es determinista, se ejecuta en una sola CPU en ~5.5 horas y no requiere GPU.

3. Contribuciones Clave

1. Conjunto de Datos Faithfulness-QA: Un recurso a gran escala (99K muestras) diseñado específicamente para entrenar modelos RAG a seguir el contexto en lugar de la memoria paramétrica. Es aproximadamente 20 veces más grande que los puntos de referencia de evaluación de fidelidad existentes.
2. Tubería de Construcción Automatizada: Una tubería totalmente automatizada y de código abierto que logra una tasa de éxito de sustitución del 56.7% con tasas de aprobación de calidad del 100% en muestras auditadas.
3. Banco de Entidades Tipadas: Un recurso reutilizable de 76,953 entidades en 8 categorías, que permite la construcción de conjuntos de datos reproducible y extensible.
4. Análisis Exhaustivo: Análisis estadístico detallado de las distribuciones de entidades, longitudes de contexto y modos de fallo, demostrando la complementariedad de las fuentes SQuAD y TriviaQA.

4. Resultados y Estadísticas

• Escala: 99,094 muestras totales (49,094 de SQuAD, 50,000 de TriviaQA).
• Tasa de Éxito: 56.7% general (56.0% para SQuAD, 57.4% para TriviaQA).
• Análisis de Fallos: La razón principal de filtrado (64.0%) es la falta de una entidad NER coincidente (por ejemplo, las respuestas son frases descriptivas o valores booleanos). Este es un compromiso deliberado para garantizar sustituciones bien definidas y consistentes en cuanto al tipo.
• Auditoría de Calidad: Una auditoría aleatoria de 200 muestras logró tasas de aprobación del 100% en cuatro dimensiones: presencia de reemplazo, eliminación de la original, modificación del contexto y relación de longitud.
• Distribución de Entidades:
  • TriviaQA está dominada por entidades PERSONA (45.7%).
  • SQuAD muestra una distribución más uniforme entre ORG, FECHA y PERSONA.
  • La combinación garantiza una cobertura amplia, mitigando el sobreajuste específico del tipo.

5. Significado y Aplicaciones

Faithfulness-QA aborda una brecha crítica en el ecosistema RAG al desplazar el enfoque de evaluar la fidelidad hacia entrenar para lograrla.

• Ajuste Fino Consciente de la Fidelidad: Permite entrenar modelos para anular la memoria paramétrica cuando entra en conflicto con la evidencia recuperada.
• Funciones de Pérdida Basadas en Atención: Las regiones de modificación explícita permiten la supervisión de los pesos de atención cruzada, alentando a los modelos a prestar atención al contexto.
• Investigación de Conflictos de Conocimiento: Proporciona un entorno controlado para estudiar cómo los LLM resuelven conflictos entre evidencia externa y creencias internas.
• Complementariedad: Mientras que FaithEval sirve como punto de referencia para la evaluación, Faithfulness-QA sirve como el recurso de entrenamiento para construir modelos capaces de superar dichos puntos de referencia.

6. Limitaciones y Trabajo Futuro

• Limitaciones:
  • No hay resolución de coreferencia (los pronombres que se refieren a entidades reemplazadas no se actualizan).
  • Depende del filtrado basado en reglas en lugar de modelos NLI para la consistencia semántica.
  • Algunas sustituciones pueden ser válidas sintácticamente pero semánticamente poco plausibles (por ejemplo, "Amritsar, Illinois").
  • Actualmente limitado al inglés.
• Direcciones Futuras: Integrar resolución de coreferencia, utilizar LLM para el emparejamiento de entidades para mejorar las tasas de éxito, aplicar filtrado basado en NLI y realizar experimentos de entrenamiento aguas abajo con LLM de código abierto (Llama-3, Mistral, Qwen).

Conclusión: Faithfulness-QA proporciona la infraestructura necesaria para pasar los sistemas RAG de "aumentados por recuperación" a "fieles a la recuperación", asegurando que los modelos confíen genuinamente en la evidencia que se les proporciona en lugar de en sus sesgos preentrenados.