💬 NLP

Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification

El artículo presenta Kernel Token Contradiction (KTC), un método ligero y eficiente para la CPU que cuantifica la incertidumbre a nivel de afirmación en las salidas de los Grandes Modelos de Lenguaje, el cual aprovecha las representaciones de tokens basadas en kernels y las estadísticas de frecuencia de Wikipedia para lograr aceleraciones significativas respecto a los enfoques existentes manteniendo una alta precisión, particularmente en regímenes de alta precisión.

Autores originales: Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje de gran tamaño se han convertido en una parte familiar de la vida moderna, capaces de escribir historias, responder preguntas y resumir temas complejos con una fluidez que a menudo parece humana. Sin embargo, bajo esta superficie suave subyace un problema persistente: estos sistemas a veces generan afirmaciones que suenan seguras pero que son simplemente falsas. Este fenómeno, conocido como alucinación, ocurre cuando un modelo inventa hechos o confunde detalles, creando un riesgo para cualquiera que dependa de su producción para obtener información precisa. Para abordar esto, los investigadores han desarrollado métodos para medir qué tan incierto es un modelo sobre lo que está diciendo. El objetivo no es impedir que el modelo hable, sino señalar los momentos específicos en los que está adivinando, permitiendo a los usuarios confiar en las partes fiables de una respuesta mientras se mantienen cautelosos ante las que son inestables. El desafío ha sido encontrar una forma de hacer esto de manera rápida y precisa sin ralentizar el sistema o requerir cantidades masivas de potencia de cómputo.

Un equipo de investigadores en LIX, un laboratorio en Francia, ha introducido un nuevo método llamado Contradicción de Tokens de Kernel, o KTC (Kernel Token Contradiction), diseñado para resolver este dilema de velocidad y precisión. Su trabajo se centra en un tipo específico de incertidumbre: el momento en que un modelo duda entre dos piezas de información que no pueden ser ambas ciertas. Imagine un modelo intentando declarar el precio de un producto. Si no está seguro, podría asignar probabilidades altas a dos números diferentes, como seiscientos noventa y nueve dólares y cuatrocientos noventa y nueve dólares. Estos dos números se contradicen entre sí; si uno es correcto, el otro debe ser erróneo. Los investigadores se dieron cuenta de que detectar este tipo de conflicto interno es una señal poderosa de que el modelo está alucinando. A diferencia de los métodos anteriores que dependían de software pesado y lento entrenado para entender la lógica del lenguaje, el KTC utiliza un enfoque mucho más ligero basado en cómo las palabras aparecen típicamente una al lado de la otra en una vasta colección de la escritura humana.

El proceso comienza observando la lista de posibles palabras siguientes que un modelo considera en cualquier paso dado. Los investigadores construyeron un mapa de estas posibilidades analizando el corpus de Wikipedia, una enorme biblioteca digital de artículos. Contaron con qué frecuencia palabras específicas aparecen cerca unas de otras en este texto del mundo real. Si dos palabras candidatas para el siguiente paso tienen vecinos muy similares en Wikipedia, el sistema las trata como probablemente contradictorias. Por ejemplo, si el modelo está decidiendo entre dos precios diferentes, esos números de precio probablemente aparecen en contextos similares en Wikipedia, señalando un conflicto. Si el modelo está decidiendo entre dos artículos diferentes, como "el" y "un", esas palabras tienen vecinos muy diferentes, lo que indica que no están en conflicto, sino que son solo diferentes formas de expresar la misma idea. Esta comprobación estadística reemplaza la necesidad de un modelo de lenguaje separado y lento para juzgar la contradicción, haciendo que el proceso sea increíblemente rápido.

Una vez que el sistema identifica qué palabras candidatas están en conflicto, combina esta información con los propios niveles de confianza del modelo. Crea una representación matemática que pondera la probabilidad de cada palabra frente al grado de contradicción entre ellas. Los investigadores luego aplican una medida de desorden, conocida como entropía, a esta imagen combinada. Si el modelo tiene confianza y las opciones no están en conflicto, la puntuación de incertidumbre permanece baja. Sin embargo, si el modelo está dividido entre dos hechos contradictorios, la puntuación aumenta bruscamente, alertando al usuario de que esta parte específica de la respuesta no es fiable. Este cálculo ocurre al nivel de palabras individuales, permitiendo que el sistema señale exactamente qué afirmación en un párrafo largo es problemática, en lugar de simplemente etiquetar toda la respuesta como dudosa.

Los resultados de las pruebas de este método fueron sorprendentes en su eficiencia y precisión. Los investigadores evaluaron el KTC a través de dieciséis modelos de lenguaje diferentes y en cuatro idiomas europeos: inglés, francés, alemán y español. Lo compararon contra los mejores métodos actuales, que dependen de modelos de lenguaje especializados que se ejecutan en potentes procesadores gráficos. El KTC, ejecutándose solo en procesadores de computadora estándar, resultó ser más de sesenta y cinco veces más rápido que las versiones de estos competidores que solo usan CPU y más de ocho veces más rápido que las versiones aceleradas por GPU, mientras igualaba o superaba su rendimiento. Crucialmente, en situaciones donde se requiere una alta precisión —es decir, cuando el sistema debe estar muy seguro antes de señalar un error—, el KTC superó a todos los demás métodos. Identificó con éxito afirmaciones falsas con una tasa de precisión mayor que las herramientas de vanguardia existentes, a pesar de utilizar mucha menos potencia de cómputo.

Este trabajo sugiere que es posible monitorear modelos de lenguaje de gran tamaño en tiempo real sin el pesado costo computacional que anteriormente había hecho que tal monitoreo fuera poco práctico para muchas aplicaciones. Al reemplazar modelos de lenguaje complejos y lentos con una comprobación simple y rápida contra una gran base de datos de la escritura humana, los investigadores han creado una herramienta que puede integrarse directamente en los sistemas de producción. El método no requiere que el modelo se detenga o sea reentrenado; simplemente observa las elecciones internas del modelo y calcula el riesgo de error basándose en los patrones de contradicción. Aunque el estudio actual se limitó a cuatro idiomas y parámetros específicos, el enfoque ofrece un camino prometedor hacia la creación de una inteligencia artificial más fiable y confiable en el uso cotidiano, asegurando que cuando un modelo habla, sepamos exactamente cuándo escuchar y cuándo verificar la información.

Resumen Técnico: Contradicción de Tokens de Kernel (KTC)

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLM) frecuentemente generan contenido plausible pero no factual, conocido como alucinaciones. Aunque la Cuantificación de la Incertidumbre (UQ) busca mitigar esto estimando la confianza del modelo, los métodos actuales de UQ a nivel de afirmación enfrentan tres limitaciones críticas:

Precisión Insuficiente: Los métodos de alto rendimiento suelen fallar en alcanzar una alta precisión en regímenes de baja recuperación (p. ej., <20% de recall), lo cual es crucial para sistemas de producción donde los falsos positivos son costosos.
Ineficiencia Computacional: Los enfoques de vanguardia dependen de modelos de Inferencia de Lenguaje Natural (NLI) (p. ej., codificadores cruzados) para detectar contradicciones. Estos modelos requieren recursos significativos de GPU y pueden exceder el tiempo de ejecución de la generación del LLM, haciendo que el monitoreo en tiempo real sea impráctico.
Sesgo Lingüístico: Los modelos NLI son típicamente entrenados en corpus en inglés, lo que conduce a un rendimiento degradado en otros idiomas.

Metodología: Contradicción de Tokens de Kernel (KTC)

KTC es un enfoque ligero de caja blanca diseñado para computar la incertidumbre a nivel de afirmación integrando la incertidumbre predictiva (de la distribución del LLM) y la incertidumbre semántica (de las contradicciones de tokens). El método opera en cuatro pasos distintos:

1. Construcción de un Grafo de No-Contradicción (Paso A)

En lugar de utilizar modelos NLI pesados, KTC emplea un heurístico basado en las estadísticas de vecinos de Wikipedia para determinar si los tokens candidatos se contradicen entre sí.

Proceso: Para un conjunto de tokens candidatos en un paso de Predicción del Siguiente Token (NTP), el método cuenta la frecuencia de sus tokens vecinos en el corpus de Wikipedia.
Lógica: Los tokens contradictorios (p. ej., "699" frente a "499" en un precio) tienden a compartir conjuntos de vecinos similares, lo que resulta en un puntaje de no-contradicción bajo. Los tokens no contradictorios (p. ej., "un" frente a "el") o tokens no relacionados tienen conjuntos de vecinos distintos, produciendo un puntaje alto.
Salida: Un grafo no dirigido y ponderado por aristas donde los pesos de las aristas representan el grado de no-contradicción entre pares de tokens.

2. Construcción del Kernel Semántico (Paso B)

El grafo de no-contradicción se convierte en un Kernel Semántico ( $K$ ) Semidefinido Positivo (PSD) utilizando el método del Kernel de Calor (Heat Kernel).

Se computa el Laplaciano del grafo ( $L$ ) a partir de la matriz de adyacencia.
El kernel de calor se deriva como $K(\tau) = \exp(-\tau \cdot L)$ , donde $\tau$ es un parámetro de difusión.
Este kernel captura la incertidumbre semántica: un grafo altamente conectado (baja incertidumbre) resulta en un kernel con un autovalor dominante, mientras que un grafo disperso (alta incertidumbre) resulta en múltiples autovalores grandes.

3. Incorporación de la Distribución Condicional (Paso C)

Para distinguir entre la incertidumbre aleatoria (aleatoric) y la incertidumbre epistémica (falta de conocimiento factual), KTC escala el kernel semántico por el Kernel Predictivo ( $\Pi$ ) del LLM.

$\Pi$ es una matriz diagonal que contiene las probabilidades condicionales de los tokens candidatos.
El Kernel Combinado ( $M$ ) se computa como $M = \Pi^{1/2} K \Pi^{1/2}$ .
Significado: Este escalamiento actúa como un mecanismo de compuerta (gating). Una alta incertidumbre solo se registra si tanto la distribución predictiva es incierta (alta entropía) como el espacio semántico contiene contradicciones (alta entropía semántica). Si el modelo es confiado en su predicción (baja entropía predictiva) o los tokens son semánticamente consistentes (baja entropía semántica), el puntaje resultante permanece bajo.

4. Computación de la Entropía de Von Neumann (Paso D)

El puntaje de incertidumbre final es la Entropía de Von Neumann (VNE) del kernel combinado normalizado $M$ :
$\text{KTC} = -\sum_{i=1}^{\delta} \lambda_i(M) \log \lambda_i(M)$
donde $\lambda_i(M)$ son los autovalores de $M$ . Esta métrica cuantifica la incertidumbre cuántica del sistema, agregando efectivamente tanto la incertidumbre predictiva como la semántica.

Contribuciones Clave

Heurístico Libre de NLI: Introducción de un heurístico de frecuencia de vecinos basado en Wikipedia para detectar contradicciones de tokens, reemplazando modelos NLI computacionalmente costosos. Esta configuración requiere solo la tokenización de páginas de Wikipedia (minutos de tiempo de CPU) y ningún entrenamiento de GPU.
Adaptación de KLE a Nivel de Token: Adaptación del principio de Entropía de Lenguaje de Kernel (KLE) desde el nivel de generación al nivel de token, permitiendo una UQ de grano fino a nivel de afirmación.
Escalamiento Predictivo: Un método novedoso para escalar la incertidumbre semántica por la distribución predictiva, lo cual es crítico para aislar la incertidumbre epistémica al nivel de token.
Evaluación Integral: Evaluación a través de cuatro idiomas europeos (inglés, francés, alemán, español) y 16 LLMs (incluyendo Llama 3, Mistral, Gemma 3, etc.) en los benchmarks MUCH y Mu-Shroom.

Resultados Empíricos

Eficiencia: KTC logra un rendimiento superior con solo un 5.6% de sobrecarga respecto al tiempo de inferencia del LLM. En contraste, los métodos basados en NLI acelerados por GPU (CCP, SAR) incurren en un 46% de sobrecarga (una relación 8.2 veces mayor), y los métodos NLI basados solo en CPU incurren en hasta un 369% de sobrecarga (una relación 65 veces mayor). KTC se ejecuta enteramente en CPU con una sobrecarga insignificante.
Desempeño de Alta Precisión: En el régimen de alta precisión (recall $\le$ 20%), KTC logra un PR-AUC de 0.78, superando significativamente al método de vanguardia CCP (0.69).
Desempeño General: Mientras que CCP clasifica ligeramente más alto en ROC-AUC general, KTC ocupa el segundo lugar con una brecha de rendimiento mínima, ofreciendo simultáneamente una eficiencia computacional vastamente superior.
Generalización: KTC mantiene un desempeño competitivo en los cuatro idiomas probados, mientras que las líneas base basadas en NLI (entrenadas principalmente en inglés) muestran una mayor varianza y un menor desempeño en contextos no ingleses.

Significado y Reivindicaciones

El artículo afirma que KTC es, según el conocimiento de los autores, el primer método de UQ a nivel de afirmación práctico para el monitoreo en tiempo real de las salidas de LLM bajo restricciones de latencia de producción. Al eliminar la dependencia de la aceleración por GPU y de los modelos NLI entrenados en inglés, KTC ofrece una solución fundamentada y ligera que equilibra la alta precisión con la viabilidad computacional. Los autores enfatizan que KTC es particularmente efectivo en regímenes de alta precisión, que son los más relevantes para mitigar las alucinaciones en entornos de producción donde rechazar respuestas completas resulta demasiado costoso.

Este trabajo se presenta como un paso hacia la escalabilidad del monitoreo de la confiabilidad de los LLM, señalando que, aunque actualmente requiere acceso de caja blanca (probabilidades de tokens), su eficiencia basada únicamente en CPU lo hace inmediatamente desplegable para muchas canalizaciones de producción existentes.