Resumen Técnico: AuthorityBench

Planteamiento del Problema

Los modelos de lenguaje de gran tamaño (LLMs) se están desplegando cada vez más en entornos con citas aumentadas, sin embargo, la influencia específica de la presencia de una cita en el comportamiento del modelo, independientemente del contenido fáctico, se comprende aún poco. Si bien la alucinación (la generación de contenido plausible pero fácticamente incorrecto) es un modo de fallo bien documentado, el papel de las "señales de autoridad en contexto" —específicamente cómo reaccionan los modelos ante la aparente autoridad de una fuente citada frente a la veracidad de la afirmación en sí misma— es poco explorado. Los benchmarks existentes como TruthfulQA y HaluEval se centran en la precisión a nivel de respuesta sin aislar el papel causal de las señales de autoridad. Además, trabajos previos como FalseCite solo han examinado afirmaciones falsas emparejadas con citas fabricadas, fallando al no controlar el prestigio de la sede, la identidad del autor o la interacción entre afirmaciones verdaderas y citas fabricadas.

Metodología: AuthorityBench

Los autores introducen AuthorityBench, un benchmark a gran escala y multidominio diseñado para aislar cómo las señales de autoridad basadas en citas moldean el comportamiento epistémico de los LLMs.

Diseño Experimental

La innovación central es un diseño factorial 2×2 totalmente equilibrado que manipula independientemente dos variables:

1. Veracidad de la Afirmación: Verdadera vs. Falsa.
2. Veracidad de la Cita: Real vs. Fabricada.

Este diseño genera cuatro condiciones primarias, más una línea de base de "sin cita" para cada afirmación. Una condición novedosa crítica es Afirmación Verdadera × Cita Fabricada (TC×FC), que pone a prueba si los modelos pueden ser inducidos a negar hechos correctos bajo la presión de una señal de autoridad fabricada.

Construcción del Dataset

• Escala: 220,564 prompts generados a partir de 110,282 afirmaciones base.
• Dominios: Se utilizaron cuatro dominios distintos: Conocimiento General (FEVER), Ciencia (SciQ), Derecho (CaseHOLD) y Medicina (MedMCQA).
• Variación de Prompts: El benchmark emplea 40 plantillas de prompts estructuralmente diversas (por ejemplo, prefijo, mitad de la oración, sufijo, estilo nota al pie) para probar la sensibilidad estructural.
• Variables Controladas:
  • Prestigio de la Sede: Las citas se asignan a uno de cuatro niveles de prestigio (Nivel 1 a Nivel 4) basados en rankings (SCImago, Washington and Lee, etc.).
  • Demografía del Autor: Para las citas fabricadas, los apellidos de los autores se muestrean de un conjunto de datos codificado por país para analizar la influencia demográfica percibida.
  • Encuadre Temporal: Los años de las citas abarcan desde 1980 hasta el presente.
• Construcción de Citas: Las citas reales se extraen de fuentes verificables (MTEB SciFact, PubMedQA, contextos de CaseHOLD). Las citas fabricadas se construyen a partir de pools curados de nombres de autores y sedes. Para el dominio de Conocimiento General (FEVER), donde no hay metadatos académicos estructurados disponibles, los metadatos de la cita se completan mediante retroceso (back-fill) desde otros pools de dominios y se marcan para su interpretación.

Evaluación

• Modelos: Se evaluaron siete modelos, incluyendo modelos de pesos abiertos (Gemma 3 4B, Llama 3.1 8B, Phi-4 Mini, Gemma 4 31B, DeepSeek V3.2) y modelos propietarios (Claude Haiku 4.5, GPT 5.4 mini). Los modelos de pesos abiertos fueron probados en el dataset completo; los modelos propietarios fueron probados en un subconjunto equilibrado de 15K.
• Juez: Los outputs fueron evaluados utilizando Qwen3-8B como juez, suministrado con etiquetas de verdad de campo y metadatos de la fuente para minimizar la dependencia del conocimiento paramétrico. La evaluación humana en una muestra estratificada confirmó una alta concordancia inter-evaluador (Cohen's $\kappa$ = 0.83).
• Métricas: La métrica principal es la tasa de alucinación (proporción de outputs etiquetados como alucinados). Los efectos se miden mediante lift (diferencia absoluta en puntos porcentuales respecto a la línea de base) y Cohen's $d$.

Resultados Clave

1. La Presencia de Citas Aumenta la Alucinación

En todos los siete modelos, la presencia de cualquier cita —ya sea real o fabricada— aumenta las tasas de alucinación en comparación con una línea de base sin cita. Esto contradice la suposición de que las citas fundamentan inherentemente los outputs del modelo.

2. La Condición Crítica TC×FC

El modo de fallo más severo ocurre cuando una cita fabricada acompaña a una afirmación verdadera (TC×FC).

• En esta condición, los modelos son más propensos a negar un hecho correcto que en cualquier otra condición experimental.
• Las tasas de alucinación en el dominio de Conocimiento General bajo TC×FC alcanzan del 35% al 77%, dependiendo del modelo.
• Los lifts sobre la línea de base de la afirmación verdadera oscilan entre +3.23 y +22.29 puntos porcentuales.
• Notablemente, los modelos más grandes (por ejemplo, Gemma 4 31B, GPT 5.4 mini) no son más resistentes que los más pequeños; en algunos casos, son altamente susceptibles.

3. Respuestas Divergentes ante Afirmaciones Falsas

Los modelos exhiben dos comportamientos distintos ante la presentación de afirmaciones falsas:

• Supresión: Modelos como Llama 3.1, Claude Haiku 4.5 y GPT 5.4 mini muestran tasas reducidas de alucinación cuando hay una cita fabricada presente, lo que sugiere que la cita dispara un mayor escrutinio.
• Amplificación: Los modelos de la familia Gemma y Phi-4 muestran tasas aumentadas de alucinación en afirmaciones falsas cuando hay una cita presente, tratando la cita como un endoso de autoridad.

4. Sensibilidad de Dominio y Estructural

• Vulnerabilidad de Dominio: El dominio de Conocimiento General es el más vulnerable a la alucinación inducida por citas. Por el contrario, el dominio Legal es uniformemente robusto, mostrando los menores lifts inducidos por citas, probablemente debido a los registros lingüísticos distintivos y las convenciones formales que elevan el umbral de evidencia del modelo.
• Prestigio de la Sede: Contrario a las expectativas, el prestigio de la sede no tiene un impacto sistemático. Una cita fabricada de una revista de nivel bajo conlleva el mismo peso que una de una sede de alto nivel (por ejemplo, Nature) en términos de inducir alucinación.
• Demografía del Autor: La identidad percibida del autor (vía apellidos codificados por país) muestra un impacto insignificante en las tasas de alucinación.
• Estructura de la Plantilla: La ubicación de la cita importa. El emplazamiento en el prefijo ("Según...") es consistentmente el formato de mayor riesgo, mientras que los formatos de saliencia mínima suelen ser los más seguros.

Significancia y Reivindicaciones

El artículo afirma que AuthorityBench proporciona la primera evidencia rigurosa y a gran escala de que la presencia de una cita degrada la precisión fáctica, incluso en afirmaciones que el modelo respondería correctamente de otro modo.

• Fallo Epistémico: Los hallazgos sugieren que los LLMs sufren un fallo de razonamiento epistémico bajo presión de autoridad en lugar de una simple falta de conocimiento fáctico. Los modelos parecen internalizar un heurístico donde la presencia de una cita anula el conocimiento interno, llevando a una "negación inducida por la cita".
• Implicaciones para RAG: Para los sistemas de Generación Aumentada por Recuperación (RAG), la presencia de una cita no garantiza la fiabilidad. En dominios de alto riesgo, fundamentar los outputs en fuentes citadas puede en realidad reducir la precisión si el modelo se debe a la autoridad de la cita por encima de la veracidad de la afirmación.
• Estrategia de Mitigación: Los autores argumentan que la mitigación requiere que los modelos traten las citas como evidencia para ser evaluada, en lugar de como autoridad a la cual deferir. Enfatizan que escalar el tamaño del modelo no resuelve inherentemente esta susceptibilidad.

El artículo concluye haciendo disponibles todos los datasets y el código de evaluación para facilitar el desarrollo de modelos que puedan distinguir mejor entre la autoridad de una fuente y la veracidad de una afirmación.