🤖 AI

Neural Diversity Regularizes Hallucinations in Language Models

Este artículo introduce la "diversidad neural" como un tercer eje de escalado para los modelos de lenguaje, proponiendo el método ND-LoRA para reducir las alucinaciones hasta en un 25,6% mediante representaciones paralelas decorrelacionadas y la regularización de Barlow Twins, estableciendo al mismo tiempo límites formales que vinculan una menor correlación neural con una mayor fiabilidad.

Autores originales: Kushal Chakrabarti, Nirmal Balachundhar

Publicado 2026-08-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kushal Chakrabarti, Nirmal Balachundhar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un acertijo difícil, pero en lugar de preguntarle a una sola persona, le preguntas a todo un equipo. Si todos los miembros del equipo piensan exactamente igual, es posible que todos cometan el mismo error tonto y te den la respuesta incorrecta al mismo tiempo. Este es el problema central con los "modelos de lenguaje" modernos —esos programas informáticos superinteligentes que escriben historias, responden preguntas y charlan con nosotros—. Aunque estos programas se están volviendo más grandes y más inteligentes, a veces todavía inventan cosas, un fallo llamado "alucinación". Pueden afirmar con total confianza un dato falso o inventar una historia que nunca ocurrió.

Para solucionar esto, los científicos suelen intentar hacer que los modelos sean más grandes o alimentarlos con más datos, como intentar resolver un rompecabezas comprando una caja más grande. Pero este artículo sugiere un enfoque diferente: en lugar de hacer al equipo más grande, haz que los miembros del equipo sean diferentes. Los autores toman prestada una idea de las finanzas llamada "diversificación". Así como un inversor no pone todo su dinero en una sola acción porque si esa falla, lo pierde todo, distribuye su dinero en muchas acciones diferentes. Si una acción cae, las otras podrían mantenerse estables, manteniendo la cartera segura. El artículo se pregunta: ¿Podemos hacer lo mismo con los cerebros de las computadoras? Si obligamos a las diferentes partes del modelo a pensar de formas ligeramente distintas y no correlacionadas, ¿podemos evitar que todas cometan el mismo error al mismo tiempo?

Esto es exactamente lo que los investigadores se propusieron probar. Proponen un nuevo método llamado Diversidad Neuronal (Neural Diversity), que actúa como un "entrenador de diversidad" para el cerebro de la computadora. En lugar de permitir que todas las vías internas del modelo colapsen para pensar de la misma manera, obligan a estas vías a permanecer distintas e independientes. Construyeron una herramienta llamada ND-LoRA para hacer esto. Piensa en ello como darle a un solo modelo de computadora cuatro "sombreros" diferentes para usar a la vez. Cada sombrero representa una forma ligeramente distinta de procesar la misma oración. El modelo luego combina las respuestas de los cuatro sombreros.

Los resultados son bastante prometedores. Al usar este enfoque de "cuatro sombreros" y un truco matemático especial para evitar que los sombreros se vuelvan demasiado similares, los investigadores descubrieron que podían reducir el número de hechos inventados hasta en un 25.6% en pruebas específicas, con una mejora promedio del 14.6%. Esto sucedió sin necesidad de hacer el modelo de computadora más grande o entrenarlo con más datos. De hecho, solo costó un poco más de potencia de cómputo —aproximadamente un 0.008% más de tiempo de entrenamiento— y solo 1.1 veces la velocidad de ejecución.

Sin embargo, el artículo también descubrió un giro: más diversidad no siempre es mejor. Es como un coro; si cada uno canta una nota diferente, suena a ruido. Si todos cantan exactamente la misma nota, es aburrido y propenso a errores. Existe un "punto ideal" donde las voces son lo suficientemente diferentes para detectar errores, pero lo suficientemente similares como para estar de acuerdo en la verdad. Los investigadores encontraron que este punto ideal cambia dependiendo de lo que la computadora esté haciendo. Para tareas que involucran la creación de historias creativas o la verificación de hechos, tener más voces "diferentes" (específicamente, de 4 a 8 flujos paralelos) funcionó mejor. Pero para tareas de memoria simples, como recordar un nombre específico, tener solo una voz era en realidad lo más confiable.

Los autores advierten que, si bien su matemática demuestra que esto debería funcionar y sus experimentos en un modelo pequeño muestran que funciona, esta es una solución específica para un tipo específico de error. Argumentan que las alucinaciones son a menudo causadas por el hecho de que las partes internas del modelo se quedan atrapadas en un bucle de ideas similares y erróneas, en lugar de ser simplemente una falta de conocimiento. Al romper ese bucle con la diversidad, pueden hacer que el modelo sea más confiable sin necesidad de construir una supercomputadora gigante y costosa. Es una forma inteligente y de bajo costo de hacer que la IA sea un poco menos propensa a mentir, demostando que, a veces, la mejor manera de obtener una mejor respuesta es hacer algunas preguntas diferentes a la vez.

Resumen Técnico: La Diversidad Neuronal Regulariza las Alucinaciones en los Modelos de Lenguaje

Planteamiento del Problema

A pesar de escalar parámetros, cómputo y datos, los modelos de lenguaje (LM) siguen sufriendo alucinaciones persistentes. Esta crisis de fiabilidad es particularmente aguda para los modelos de lenguaje pequeños (SLM), que son cada vez más favorecidos para aplicaciones de borde (edge) y agénticas, pero poseen representaciones comprimidas que los hacen vulnerables a generar contenido fácticamente incorrecto o inconsistente.

Las estrategias de mitigación actuales se centran principalmente en optimizar el rendimiento promedio (mejoras del primer momento) en lugar de controlar el riesgo de cola. Técnicas como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), la Generación Aumentada por Recuperación (RAG) y la decodificación contrastiva buscan mejorar la inocuidad media o el fundamento fáctico. Sin embargo, estos métodos carecen de garantías formales respecto a la probabilidad de fallos catastróficos (alucinaciones). Además, los métodos de escalado paralelo existentes suelen sufrir de "colapso representacional", donde las corrientes paralelas convergen en representaciones similares, sin lograr realizar ganancias en fiabilidad. El artículo postula que las alucinaciones derivadas de errores representacionales correlacionados, en lugar de la falta de conocimiento, constituyen un problema de fiabilidad de segundo momento susceptible de una diversificación basada en la teoría de carteras.

Metodología

Marco Teórico: Teoría de Carteras para Alucinaciones

Los autores reformulan la probabilidad de alucinación como un problema de fiabilidad de segundo momento gobernado por la covarianza representacional. Basándose en la teoría de carteras de Markowitz (1952), proponen que las representaciones paralelas descorrelacionadas ("diversidad neuronal") pueden reducir el límite de la cola de la probabilidad de alucinación.

Modelo de Señal-Ruido: El modelo asume $P$ corrientes computacionales paralelas procesando la misma entrada. Cada corriente produce una representación oculta $Z_i = z^* + \epsilon_i$ , donde $\epsilon_i$ es el ruido.
Índice de Diversidad Neuronal ( $D$ ): Un índice basado en el coseno mide la diversidad entre corrientes. $D=0$ implica ortogonalidad perfecta, mientras que $D=1$ implica colapso completo.
Límites Teóricos:
- Teorema 1: Demuestra que la probabilidad de alucinación $P(H_\delta)$ está acotada por una función de la diversidad neuronal $D$ y el número de corrientes $P$ . Específicamente, con una descorrelación perfecta, $P(H_\delta)$ escala como $O(1/P)$ .
- Teorema 2: Demuestra un comportamiento de escalado no monotónico. Si bien aumentar $P$ reduce inicialmente las alucinaciones, el paralelismo excesivo puede conducir a un aumento de la correlación (debido a las restricciones del optimizador), causando que la fiabilidad se degrade. Esto resulta en una curva en forma de U donde existe un $P^*$ óptimo para una tarea dada.

ND-LoRA: Adaptación de Bajo Rango de Diversidad Neuronal

Para operacionalizar esta teoría, los autores introducen ND-LoRA, una arquitectura de adaptación de parámetros eficientes que combina adaptadores LoRA paralelos con una regularización de descorrelación explícita.

Arquitectura: El modelo emplea $P$ $P$ corrientes paralelas. Cada corriente utiliza:
- Adaptadores LoRA específicos de la corriente: Aplicados en cada capa para perturbar la representación.
- Tokens de Prefijo Aprendibles: 48 tokens que se anteponen a la secuencia de entrada.
- Agregador Multi-Corriente: Un mecanismo aprendido para combinar las salidas de las corrientes con pesos dinámicos, evitando el colapso de la atención.
Regularización: El objetivo de entrenamiento incorpora una regularización de Barlow Twins ( $L_{BT}$ ) aplicada a pares de corrientes en una capa de diseño designada. Esto fuerza a la matriz de correlación cruzada de las características blanqueadas entre corrientes a aproximarse a la matriz identidad, minimizando explícitamente la redundancia representacional.
Eficiencia de Coste: El backbone permanece congelado; solo se entrenan los adaptadores paralelos y el agregador. Esto incurre en un coste de preentrenamiento insignificante (+0.008% del preentrenamiento continuado) y un aumento modesto de la latencia de inferencia (1.1×).

Principales Contribuciones

Vinculación Teórica: El artículo proporciona el primer marco formal para los límites de la cola de la probabilidad de alucinación en LMs ensamblados. Demuestra que la diversidad neuronal reduce estos límites y establece la existencia de un nivel de paralelismo óptimo ( $P^*$ ) que minimiza las alucinaciones, explicando el 94.3% de la variación de fiabilidad en su configuración.
Demostración Constructiva (ND-LoRA): Los autores demuestran la viabilidad empírica reduciendo las alucinaciones hasta en un 25.6% (14.6% en promedio) en un modelo de lenguaje pequeño (Qwen2.5-0.5B) sin degradar las capacidades generales. Esto se logra con un coste computacional adicional casi nulo.
Análisis Mecanicista: A través de ablaciones e intervenciones causales, el artículo establece que la diversidad neuronal es el factor mediador.
- Causalidad: La corrupción artificial de la diversidad conduce a caídas de precisión estadísticamente significativas ( $p < 0.001$ ).
- Sinergia: Los adaptadores LoRA y la regularización de Barlow Twins actúan sinérgicamente; ninguno de los dos por sí solo basta para obtener las ganancias máximas.
- Dependencia de la Tarea: Diferentes tareas requieren diferentes niveles de diversidad óptima. Las tareas centradas en alucinaciones se benefician de una mayor diversidad, mientras que las tareas de recuperación de conocimiento a menudo alcanzan su pico en $P=1$ .

Resultados Experimentales

La evaluación se realizó en Qwen2.5-0.5B entrenado con 20M de tokens de The Pile, evaluado en 12 tareas.

Reducción de Alucinaciones: ND-LoRA logró mejoras significativas en los bancos de pruebas de alucinaciones en comparación con las líneas base de parámetros equivalentes:
- HaluEval (Resumen): +25.6% de mejora relativa ( $P^*=4$ ).
- HaluEval (QA): +23.4% de mejora relativa ( $P^*=4$ ).
- TruthfulQA (MC2): +9.5% de mejora relativa ( $P^*=2$ ).
- MemoTrap v2: +8.8% de mejora relativa ( $P^*=8$ ).
Preservación de Capacidades: Las capacidades generales (medidas por NQ, Winogrande, Wikitext BPX) se preservaron o mejoraron ligeramente, indicando que no hay un "impuesto de conocimiento" (knowledge tax).
Comparación con Líneas Base: ND-LoRA superó a las intervenciones en tiempo de inferencia (Decodificación Consciente del Contexto, Decodificación de Activación) y a la regularización de desacuerdo en tiempo de entrenamiento, logrando una reducción de alucinaciones promedio de +14.6% frente al +4.1% del siguiente mejor método.
Ajuste Teórico: La relación empírica entre la diversidad neuronal y la fiabilidad coincidió con la predicción teórica con un $R^2$ de 0.943.

Significancia y Reivindicaciones

El artículo afirma ofrecer un cambio de paradigma en el abordaje de la fiabilidad de los LM al reformular las alucinaciones como un problema de segundo momento (varianza y correlación) en lugar de un problema de primer momento (precisión media).

Ortogonal al Escalado: La diversidad neuronal permite ganancias de fiabilidad sin un escalado masivo de parámetros o datos. Controla la probabilidad de la cola a través de la estructura de varianza y correlación en lugar de la capacidad.
Rentabilidad: El enfoque logra mejoras sustanciales de fiabilidad con un coste de preentrenamiento casi nulo y solo una penalización de latencia de inferencia de 1.1×, lo que lo hace adecuado para despliegues de baja latencia y de alta seguridad.
Optimidad Específica de la Tarea: El trabajo destaca que la fiabilidad no es una propiedad monolítica; diferentes tareas requieren diferentes grados de diversidad neuronal. Esto sugiere un movimiento desde las leyes de escalado de "talla única" hacia un diseño arquitectónico basado en principios y características de la tarea.

Los autores concluyen que, aunque su demostración es sobre un modelo pequeño, el marco teórico y el bajo coste sugieren que la diversidad neuronal es un mecanismo escalable y práctico para mejorar la fiabilidad de los modelos de lenguaje en dominios de alto riesgo.