Resumen Técnico: Confiar, pero no Verificar: Puntos Ciegos Epistémicos en la Evaluación de Fuentes por parte de los LLM

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) se están desplegando cada vez más como intermediarios epistémicos, encargados de sintetizar evidencia conflictiva de múltiples fuentes para informar decisiones trascendentales en dominios que van desde las finanzas hasta la salud pública. Si bien trabajos previos han documentado la "sicofancia" —donde los modelos se someten a las preferencias del usuario por encima de la precisión factual—, una vulnerabilidad distinta permanece poco comprendida: la capacidad de los modelos para evaluar la credibilidad de las fuentes que sintetizan. Específicamente, no está claro si los modelos pueden distinguir entre una metodología estadística válida y estadísticas fabricadas o imposibles cuando se presentan en un contexto de múltiples fuentes.

El artículo postula que los modelos pueden heredar sesgos cognitivos humanos donde la "estética del rigor" (por ejemplo, jerga técnica, números precisos) prevalece sobre la evaluación analítica. Esto crea un riesgo donde los modelos tratan las estadísticas fabricadas como creíbles si se presentan en un registro que imita el rigor analítico, incluso cuando los números son estructuralmente imposibles.

Metodología

Los autores realizaron un experimento conductual factorial controlado a través de cinco modelos (de las familias Claude, Qwen y OLMo) y tres dominios profesionales: Capital de Riesgo (VC), Marketing (MKT) y Salud Pública (PH).

Diseño Experimental

• Tarea: Los modelos actuaron como asistentes de IA en un hilo de mensajería simulado de lugar de trabajo (Slack/Teams) que contenía cuatro fuentes (una autoridad superior, una institución externa, un analista interno y una referencia de terceros).
• Conflicto: La fuente focal (el analista interno) proporcionó una estimación que divergía del consenso de las otras tres fuentes.
• Manipulaciones: La presentación de la fuente focal se varió en seis niveles:
  1. Afirmación simple (sin metodología ni estadísticas).
  2. Metodología plausible con estadísticas válidas.
  3. Metodología plausible sin estadísticas.
  4. Metodología plausible con estadísticas estructuralmente imposibles (por ejemplo, un intervalo de confianza del 95% que abarca 0.06 puntos porcentuales para n=2,400; valores p por debajo de los suelos de permutación; correlaciones que exceden los techos de fiabilidad de la medición).
  5. Metodología especiosa (jerga técnica inapropiada para el dominio) con o sin diagnósticos.
• Contexto Social: El grado de consenso social se varió (de 0 a 3 otras fuentes de acuerdo con la fuente focal).
• Métrica: El Índice de Preferencia de Fuente (SPI) midió cuánto se desplazó la estimación numérica final del modelo desde el consenso hacia la afirmación de la fuente focal.

Análisis Mecanicista

Para explicar los hallazgos conductuales, los autores emplearon tres técnicas de interpretabilidad mecanicista en Qwen 32B y OLMo 3.1:

1. Sondas Lineales (Linear Probes): Entrenadas para detectar el "registro de metodología" (texto válido vs. especioso) y la "validez numérica" (números imposibles vs. válidos) en las activaciones del flujo residual. Estas fueron probadas para la transferencia entre dominios.
2. Trazado Causal (Causal Tracing): Corrupción de los embeddings de los tokens de presentación con ruido y restauración capa por capa para medir la importancia causal en la conducción de la estimación final.
3. Atribución Directa de Logit (DLA): Proyección de las cabezas de atención y los MLPs sobre la dirección del logit "analista vs. consenso" para cuantificar las contribuciones a nivel de componente.

Resultados Clave

1. Disociación Conductual: Detección vs. Implementación

• Aislamiento: Cuando se presentaba una estadística fabricada de forma aislada bajo un prompt de revisión, los modelos detectaban la falla de manera confiable (Tasas de Identificación Correcta de 0.7 de 0.76–1.00 para metodología; hasta 1.00 para IC imposibles en VC).
• Síntesis: En la tarea de síntesis de múltiples fuentes, esta capacidad colapsaba. Los modelos asignaban un peso idéntico a las fuentes con estadísticas válidas y a aquellas con estadísticas imposibles.
  • Las estadísticas fabricadas recuperaron aproximadamente el 79% de la ganancia de influencia proporcionada por las estadísticas válidas.
  • Los modelos a menudo señalaban la imposibilidad en su traza de razonamiento (Cadena de Pensamiento/CoT), pero aun así respaldaban la fuente y desplazaban su estimación hacia ella.
  • La metodología especiosa (jerga sin números) tuvo una influencia insignificante, indicando que los modelos son sensibles a la presencia de un registro de metodología, pero no a su consistencia interna.

2. Hallazgos Mecanicistas

• Puerta del Registro de Metodología: Las sondas lineales confirmaron la existencia de una representación de dominio general del "registro de metodología" (texto válido vs. especioso) que se transfiere entre dominios (AUC 0.83–0.92). Esta señal es causalmente importante en las capas tempranas de la red.
• Punto Ciego de Validez Numérica: Aunque la validez numérica es decodificable de forma aislada, la señal colapsa al azar (AUC ~0.50) durante la síntesis de múltiples fuentes. El modelo codifica la presencia de números, pero no su validez.
• Puerta de Consenso (Consensus Gating): El trazado causal reveló una "puerta de consenso". Cuando la fuente focal está aislada, los tokens de presentación poseen una alta importancia causal. Cuando la fuente tiene apoyo de la mayoría, la influencia causal de los tokens de presentación (y el resultante desplazamiento conductual) colapsa casi a cero. Crucialmente, esta puerta opera sobre el mensaje de presentación mismo, no sobre la validez de los números.
• Atribución de Componentes: Los MLPs (en lugar de las cabezas de atención) dominan el procesamiento de las señales de metodología. Ningún componente portaba una señal correctiva para los numéricos fabricados; la red simplemente fallaba en distinguir números válidos de imposibles en el contexto de la síntesis.

3. Limitaciones de Prompting y Entrenamiento

• Prompting: Los prompts de verificación explícita, incluyendo una "lista de verificación de oráculo" que nombraba controles estadísticos exactos, fallaron en inducir un discernimiento selectivo. Produjeron un "escepticismo generalizado", reduciendo la confianza tanto en las estadísticas válidas como en las fabricadas, en lugar de descartar selectivamente estas últimas.
• Trayectoria de Entrenamiento: El análisis de la trayectoria de entrenamiento de OLMo mostró que, si bien la discriminación de la metodología mejoró con el post-entrenamiento (SFT, DPO, RLVR), la discriminación numérica se mantuvo cerca de cero durante todo el proceso, sugiriendo que la vulnerabilidad no es un artefacto del alineamiento de preferencias, sino una brecha fundamental en el objetivo de entrenamiento.

Significancia y Reivindicaciones

El artículo argumenta que los LLM exhiben un fallo de alineación epistémica distinto de la sicofancia. Mientras que la sicofancia sigue la preferencia del usuario, este fallo sigue las "características superficiales de la presentación" (el registro de metodología) en lugar de la consistencia interna de las afirmaciones.

• Brecha de Vigilancia Epistémica: Los modelos poseen la capacidad de verificar la validez numérica (razonamiento tipo Sistema 2) pero fallan en reclutarla durante la síntesis, dependiendo en su lugar de un heurístico rápido y automático (Sistema 1) que equipara el "registro analítico" con la "credibilidad".
• Vulnerabilidad Adversaria: El fallo es más pronunciado cuando el discernimiento independiente es más necesario: cuando una fuente está aislada (sin consenso para anclar al modelo). Un adversario puede propagar desinformación simplemente adoptando el registro de la escritura analítica creíble, ya que el escepticismo por defecto del modelo colapsa ante la ausencia de consenso social.
• Implementación vs. Capacidad: Los autores concluyen que la cuestión no es si los modelos pueden verificar la evidencia, sino si se están desplegando de una manera que condiciona la confianza en la calidad de la evidencia en lugar del estilo de presentación. Los procesos actuales de post-entrenamiento (RLHF, DPO) refuerzan atajos estilísticos sin construir mecanismos robustos de verificación numérica.

El artículo no propone estrategias de mitigación específicas más allá de sugerir que los futuros procesos de entrenamiento podrían necesitar incluir datos donde las premisas sean inválidas y requieran verificación, una forma de supervisión que actualmente está ausente de los procedimientos de alineación estándar.