Context Shapes LLMs Retrieval-Augmented Fact-Checking Effectiveness

1. Problema y Motivación

La proliferación de desinformación representa un desafío crítico para la sociedad, superando la capacidad de la verificación manual. Aunque los Modelos de Lenguaje Grande (LLMs) han demostrado fuertes capacidades de razonamiento, su rendimiento en contextos extendidos es inconsistente.

• El vacío de investigación: Mientras que trabajos anteriores se han centrado en la degradación del rendimiento en la "mitad del contexto" (mid-context degradation) para tareas de preguntas y respuestas, este estudio aborda específicamente la verificación de hechos (fact-checking).
• La complejidad: A diferencia de las preguntas simples, la verificación de hechos requiere sintetizar y reconciliar información conflictiva de múltiples fuentes de evidencia.
• Preguntas de investigación (RQs):
  1. ¿En qué medida pueden los LLMs verificar afirmaciones usando solo conocimiento paramétrico (sin evidencia externa)?
  2. ¿Cómo afecta la longitud del contexto a la precisión de la verificación?
  3. ¿Cómo influye la posición de la evidencia relevante dentro del prompt en la precisión?

2. Metodología

Los autores diseñaron un conjunto de experimentos controlados para aislar los efectos del conocimiento paramétrico, la disponibilidad de evidencia, la longitud del contexto y la ubicación de la evidencia.

• Conjuntos de Datos: Se utilizaron tres conjuntos de datos estándar de verificación de afirmaciones: HOVER, FEVEROUS y ClimateFEVER. Los datos se unificaron en un formato binario (SUPPORTS/REFUTES).
• Modelos Evaluados: Se probaron cinco modelos de código abierto de diferentes familias y tamaños:
  • Llama-3.1: 8B y 70B parámetros.
  • Qwen-2.5: 7B parámetros.
  • Qwen3: 8B y 32B parámetros.
  • Nota: Se utilizaron variantes ajustadas con instrucciones (instruction-tuned).
• Configuración Experimental:
  1. Línea base paramétrica: Los modelos recibieron solo el texto de la afirmación (sin evidencia externa).
  2. Evidencia Gold: Se introdujo el conjunto de evidencia óptimo sin contexto adicional.
  3. Manipulación del Contexto: Para analizar el efecto del contexto, se insertó el bloque de evidencia en 11 posiciones diferentes (desde el 0% hasta el 100% del prompt) dentro de textos de relleno (filler text) no relacionados.
  4. Longitudes de Contexto: Se probaron cuatro longitudes totales: 2k, 4k, 8k y 16k tokens.
  • Esto resultó en 44 configuraciones distintas por modelo (4 longitudes × 11 posiciones).

3. Contribuciones Clave y Resultados

A. Conocimiento Paramétrico (RQ1)

• Los modelos poseen un conocimiento paramétrico no trivial y pueden resolver una parte sustancial de las afirmaciones sin evidencia externa.
• Rendimiento por Dataset: ClimateFEVER obtuvo las puntuaciones paramétricas más altas, seguido de FEVEROUS, mientras que HOVER fue el más difícil.
• Mejora con Evidencia: La introducción de evidencia "gold" mejoró sistemáticamente el rendimiento en todos los modelos, confirmando que la evidencia explícita proporciona información complementaria al conocimiento interno.

B. Efecto de la Longitud del Contexto (RQ2)

• Degradación General: A medida que aumenta la longitud del contexto, la precisión de la verificación tiende a disminuir. Los contextos de 8k y 16k tokens mostraron un rendimiento inferior al de 2k tokens en la mayoría de los casos.
• Excepción No Monotónica: Los modelos Qwen3 (8B y 32B) mostraron un patrón interesante con un mínimo local en 4k tokens antes de recuperarse parcialmente en 8k, sugiriendo que la degradación no es lineal y puede interactuar con la asignación de atención interna.
• Estabilidad: El modelo Qwen3-32B fue el más estable a través de todas las longitudes de contexto.

C. Efectos de la Posición de la Evidencia (RQ3) - "Lost in the Middle"

• Sesgo Posicional: Se confirmó el fenómeno de "perdido en el medio". La precisión es significativamente mayor cuando la evidencia relevante aparece al inicio (0%) o al final (100%) del prompt.
• Degradación Central: La precisión cae notablemente cuando la evidencia se coloca en posiciones intermedias (alrededor del 50%).
• Diferencias entre Modelos:
  • Los modelos Llama-3.1-8B mostraron una alta sensibilidad a la posición, con fluctuaciones marcadas.
  • La versión Llama-3.1-70B fue más robusta que su contraparte de 8B.
  • Los modelos Qwen3, especialmente el Qwen3-32B, mostraron curvas de precisión más suaves y menos sensibles a la posición. Notablemente, Qwen3-32B se mantuvo por encima de la línea base de "solo afirmación" en todas las profundidades de evidencia, lo que indica que su rendimiento mejora siempre que la evidencia esté presente, independientemente de su ubicación.
• Sensibilidad del Dataset: El dataset ClimateFEVER fue el más sensible a las variaciones de posición y contexto, mostrando las mayores brechas entre las mejores y peores configuraciones.

4. Significado e Implicaciones

• Diseño de Sistemas de Recuperación: Los resultados subrayan que la mera inclusión de evidencia no garantiza un buen rendimiento. La estructura del prompt es crítica. En sistemas de verificación aumentada por recuperación (RAG), el ordenamiento de los documentos recuperados es tan importante como la recuperación en sí misma.
• Optimización de Prompts: Para maximizar la precisión, las evidencias más relevantes deben colocarse estratégicamente al principio o al final del contexto, evitando la zona central del prompt.
• Selección de Modelos: No todos los LLMs manejan el contexto largo de la misma manera. Modelos más grandes (70B) o arquitecturas más recientes (Qwen3) ofrecen mayor robustez frente al sesgo posicional y la longitud del contexto.
• Futuro: Se sugiere investigar los mecanismos arquitectónicos subyacentes a esta robustez posicional y extender el análisis a pipelines de recuperación con evidencia ruidosa o parcialmente relevante.

En resumen, el estudio demuestra que la eficacia de la verificación de hechos con LLMs depende no solo del acceso a la evidencia, sino crucialmente de cómo se organiza y presenta esa evidencia dentro del contexto de entrada del modelo.