🤖 machine learning

"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification

Este artículo investiga la divergencia entre los humanos y los modelos de lenguaje de gran tamaño en la cuantificación de la incertidumbre verbal mediante la introducción de un algoritmo basado en la optimización, METHODNAME, el cual aprende mapeos de probabilidad óptimos para marcadores verbales directamente a partir de las salidas del modelo para revelar disparidades sistemáticas de confianza sin depender del muestreo repetido.

Autores originales: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Publicado 2026-10-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cuando hablamos, a menudo moderamos nuestras afirmaciones. Decimos que algo es "probable", "posible" o "casi seguro", utilizando estas palabras para señalar cuánto sabemos realmente. Esta capacidad de expresar duda es una forma de metacognición, un chequeo mental donde reconocemos los límites de nuestro propio conocimiento. Es una parte crucial de la comunicación humana, que nos permite navegar la incertidumbre sin pretender tener respuestas que no poseemos. En el mundo de la inteligencia artificial, específicamente con los modelos de lenguaje extensos, esta misma capacidad se está convirtiendo en una característica de seguridad crítica. Estos modelos a veces pueden generar información que suena segura pero es fácticamente incorrecta, un fenómeno conocido como alucinación. Para confiar en estos sistemas, especialmente en campos sensibles como la medicina o el derecho, necesitamos saber cuándo no están seguros. El desafío radica en determinar si las palabras que una IA utiliza para expresar duda significan lo mismo para un oyente humano que para la propia máquina.

Un equipo de investigadores se propuso investigar si la incertidumbre verbal expresada por los modelos de lenguaje extensos se alinea con la comprensión humana. Comenzaron recopilando una colección masiva de cómo las personas interpretan frases como "muy probable" o "incierto". Basándose en décadas de investigación en psicología y ciencia de la decisión, compilaron una guía de referencia que mapea estas frases comunes con probabilidades numéricas específicas. Por ejemplo, en la mente humana, la frase "muy probable" corresponde a un alto grado de confianza, mientras que "posible" se sitúa en algún punto intermedio. Luego, los investigadores probaron varios modelos de lenguaje avanzados, pidiéndoles que respondieran preguntas y explicaran su confianza utilizando estas mismas frases de lenguaje natural. Compararon las respuestas de los modelos con la guía de referencia humana para ver si las máquinas estaban hablando el mismo idioma que sus usuarios.

Los resultados revelaron una desconexión significativa. Si bien los modelos podían usar las palabras, asignaban niveles de certeza diferentes a ellas de los que asignan los humanos. Por ejemplo, cuando un humano escucha "muy probable", lo interpreta como una probabilidad fuerte, pero los modelos en el estudio a menudo usaban esta frase para describir situaciones en las que en realidad estaban bastante inseguros. Por el contrario, los modelos podrían expresar un alto grado de confianza para frases que los humanos consideran meras conjeturas. Este desajuste significa que simplemente leer la salida de un modelo y asumir que sus señales verbales reflejan su estado interno puede ser engañoso. El estudio demostó que confiar en un diccionario de palabras de incertidumbre creado por humanos no era suficiente para calibrar con precisión la confianza de una máquina; los modelos tenían su propia lógica interna y distinta para lo que significaban esas palabras.

Para cerrar esta brecha, los investigadores desarrollaron un nuevo método llamado VOCAL. En lugar de obligar a los modelos a ajustarse a las definiciones humanas, este enfoque aprende el significado específico de las palabras de incertidumbre directamente del propio comportamiento del modelo. El sistema analiza miles de las respuestas del modelo, observando qué frases utiliza cuando acierta y cuáles utiliza cuando se equivoca. Luego construye un mapa personalizado que traduce los hábitos verbales específicos del modelo en puntuaciones de probabilidad precisas. Este proceso implica una optimización matemática que suaviza los datos, asegurando que las frases de sonido similar reciban puntuaciones similares, incluso si el modelo las usa raramente. Al adaptar la interpretación al modelo específico, el método crea una forma mucho más confiable de detectar cuándo el modelo no está seguro.

Los experimentos demostaron que este enfoque personalizado funciona significativamente mejor que intentar imponer un estándar humano a la máquina. En pruebas a través de varios conjuntos de datos, incluyendo problemas matemáticos complejos y preguntas médicas, el nuevo método fue mucho más preciso al predecir si la respuesta de un modelo era correcta o incorrecta en comparación con el uso de la guía de referencia humana por sí sola. En algunos casos, la mejora fue sustancial, convirtiendo un método que apenas funcionaba mejor que el azar en uno que podía detectar errores de manera confiable. Los investigadores encontraron que esta técnica podía lograr niveles de rendimiento comparables a métodos mucho más costosos que requieren que el modelo genere múltiples respuestas y las compare, pero sin el tiempo o la potencia de cómputo adicionales.

El estudio concluye que, si bien los modelos de lenguaje extensos pueden imitar los patrones del habla humana, su comprensión interna de la incertidumbre es fundamentalmente diferente de la nuestra. Una frase como "muy probable" no tiene el mismo peso para la máquina que para una persona. Para que estos sistemas sean verdaderamente confiables, no podemos simplemente pedirles que hablen como humanos y esperar que signifiquen lo mismo. En cambio, debemos aprender a leer su dialecto específico de incertidumbre. Al crear mapas personalizados que traduzcan las señales verbales únicas de un modelo en señales claras de confianza, podemos distinguir mejor entre una respuesta correcta y una alucinación segura, haciendo que la tecnología sea más segura y confiable para su uso en el mundo real.

Resumen Técnico: ¿Significa "Muy probable" que sea "Incierto"? Cómo los LLM divergen de los humanos en la cuantificación de la incertidumbre lingüística

Declaración del Problema

Aunque los Grandes Modelos de Lenguaje (LLM) han alcanzado un éxito notable, persiste un desafío fundamental al determinar cuándo confiar en sus respuestas, particularmente en lo que respecta a las alucinaciones. Los métodos existentes de Cuantificación de la Incertidumbre (UQ) generalmente se dividen en dos categorías: basados en muestreo (p. ej., Entropía Semántica, varianza de ensamble) y basados en logits (p. ej., Entropía Predictiva, Perplejidad). Sin embargo, estos enfoques sufren limitaciones significativas: los métodos de muestreo son computacionalmente costosos e introducen latencia, mientras que los métodos basados en logits suelen sufrir de sensibilidad léxica y no logran capturar el matiz del razonamiento humano.

Los humanos expresan la incertidumbre naturalmente mediante marcadores verbales (p. ej., "posible", "probable", "casi seguro"). Si bien trabajos recientes han explorado la UQ verbalizada, existe una brecha crítica: los LLM divergen de los humanos en cómo interpretan y utilizan estos marcadores lingüísticos. Los métodos actuales suelen depender de tablas de búsqueda derivadas de la literatura de la psicología humana para mapear frases verbales a puntuaciones numéricas de probabilidad. Los autores postulan que estos mapeos derivados de humanos no reflejan con precisión los estados internos de incertidumbre de los LLM, lo que conduce a una cuantificación poco fiable.

Metodología

1. Referencia de Incertidumbre Verbal Humana (UM-Lookup)

Los autores construyeron primero una amplia Tabla de Búsqueda de Marcadores de Incertidumbre Verbal (UM-Lookup). Este recurso agrega datos de estudios fundacionales en psicología y ciencia de la decisión (p. ej., Lichtenstein & Newman, 1967; Beyth-Marom, 1982; Vogel et al., 2022).

Construcción: La tabla mapea 115 expresiones distintas de incertidumbre verbal a puntuaciones de probabilidad numérica basadas en un promedio de 336 valoraciones humanas por frase.
Agregación: Cuando un LLM genera una respuesta que contiene múltiples marcadores, el método (denotado como $Q_{VU-H}$ ) promedia las puntuaciones numéricas de los marcadores extraídos para producir una estimación de incertidumbre final.
Evaluación Inicial: Los autores evaluaron $Q_{VU-H}$ contra líneas de base estándar (Entropía Predictiva, Entropía Semántica) a través de varios modelos (GPT-4o, DeepSeek-V3.1) y conjuntos de datos (GSM8K, MedQA, SciQ). Aunque $Q_{VU-H}$ demostró un rendimiento no trivial en algunos casos, frecuentemente tuvo un desempeño inferior comparado con los métodos basados en muestreo y, en algunas instancias (p. ej., GPT-4o en GSM8K), funcionó peor que el azar. Esto confirmó una desalineación fundamental entre la intuición lingüística humana y la confianza interna de los LLM.

2. VOCAL: Cuantificación de la Incertidumbre Verbal Optimizada

Para abordar esta desalineación, los autores proponen VOCAL, un nuevo algoritmo basado en optimización que aprende un mapeo específico para cada LLM entre los marcadores verbales y los niveles de incertidumbre numérica.

Objetivo: VOCAL aprende un conjunto de puntuaciones numéricas ( $c_i$ ) para cada marcador verbal ( $u_i$ ) de tal manera que la puntuación de incertidumbre agregada ( $q_y$ ) refleje fielmente la corrección real del modelo. El objetivo es asignar puntuaciones de incertidencia más altas a las generaciones incorrectas y más bajas a las correctas.
Formulación de Optimización: El problema se formula como la minimización de una pérdida de Entropía Cruzada Binaria (BCE):
$\mathcal{L}(c) = \min_{c} \mathbb{E}_{(x,y)} \left[ -z \log c_y - (1-z) \log(1-c_y) \right]$
Donde $z$ es el indicador de corrección (1 para correcto, 0 para incorrecto), y $c_y$ es la incertidumbre agregada derivada de las puntuaciones aprendidas de los marcadores en la generación $y$ .
Suavizado Semántico: Para manejar la escasez de datos (donde marcadores raros como "escasa posibilidad" tienen pocos ejemplos de entrenamiento), VOCAL incorpora un Regularizador de Laplaciano de Grafo. Esto impone suavidad al penalizar grandes discrepancias entre marcadores semánticamente similares (medidos mediante similitud Jaccard de 3-gramas). El objetivo total es $\mathcal{L}(c) + \gamma \mathcal{L}_{lap}(c)$ .
Eficiencia: A diferencia de los métodos basados en muestreo, VOCAL requiere una sola respuesta del modelo para generar una puntuación de incertidumbre, evitando la sobrecarga computacional de múltiples generaciones.

Principales Contribuciones

Tabla de Búsqueda de Incertidumbre Verbal Humana: El artículo presenta un recurso curado de 115 marcadores verbales mapeados a probabilidades numéricas, fundamentados en la literatura psicológica. Esto sirve como un benchmark fundacional para analizar la divergencia humano-LLM en el monitoreo metacognitivo.
Algoritmo VOCAL: Los autores introducen VOCAL, un método ligero basado en optimización que adapta los mapeos de incertidumbre verbal a modelos LLM específicos sin requerir actualizaciones de parámetros o ajuste fino (fine-tuning). Aprende la masa de probabilidad óptima que cada marcador debe transmitir basándose en la corrección empírica.
Análisis Empírico Exhaustivo: El estudio proporciona un análisis profundo de cómo los LLM divergen de los humanos. Por ejemplo, el artículo demuestra que, mientras los humanos califican "muy probable" como alta confianza (~~0.85), GPT-4o asocia esto con una confianza significativamente menor (~~0.35) en su estado interno.

Resultados

Superioridad sobre la Búsqueda Humana: VOCAL supera consistentemente a la búsqueda de la humanidad UM-Lookup ( $Q_{VU-H}$ ). En el conjunto de datos GSM8K, VOCAL mejoró el AUROC para GPT-4o de 0.41 (usando la búsqueda humana) a aproximadamente 0.60.
Comparación con Baselines de Muestra Única: VOCAL supera significativamente a los métodos de UQ de muestra única como G-NLL y Perplejidad (PPL). En 5 de los 6 entornos evaluados, VOCAL alcanzó el mayor AUROC. Por ejemplo, en GSM-Hard con DeepSeek-V3.1, VOCAL logró un AUROC de 0.715, comparado con 0.520 para G-NLL.
Competitividad con Métodos de Multi-Muestreo: A pesar de utilizar una sola respuesta, VOCAL logra un rendimiento comparable a los costosos métodos de multi-muestreo (p. ej., Entropía Semántica, Densidad Semántica). En varios casos (p. ej., SciQ con Qwen2.5-72B), VOCAL alcanzó el AUROC superior (0.717), superando a las líneas de base basadas en muestreo.
Calibración: VOCAL demuestra propiedades de calibración sólidas. Al combinarse con métodos de calibración post-hoc como la Regresión Isotónica (IR), logró un Error de Calibración Esperado (ECE) promedio de 0.0281, superando a otras líneas de base.
Transferibilidad: Los experimentos muestran que, si bien los indicadores de incertidumbre verbal son mayormente transferibles entre diferentes LLM (el AUROC se mantiene en el rango de 0.60–0.72 cuando se entrena en un modelo y se prueba en otro), el ajuste específico del modelo mediante VOCAL produce resultados superiores.

Significado y Reivindicaciones

El artículo afirma que las expresiones de incertidumbre verbal dependen del modelo, y confiar en tablas fijas definidas por humanos es insuficiente para una UQ fiable en los LLM. El significado de este trabajo radica en:

Cerrar la Brecha Humano-LLM: Revela que "muy probable" no significa lo mismo para un LLM que para un humano, resaltando una desconexión crítica en los mecanismos de confianza actuales.
Eficiencia y Practicidad: VOCAL ofrece una fuerte relación precisión-eficiencia. Proporciona una discriminación de incertidumbre cercana al estado del arte sin la latencia y el costo de los pipelines de consistencia semántica de múltiples muestras, lo que lo hace más práctico para el despliegue en el mundo real.
Perspectiva Metacognitiva: Los hallazgos sugieren que, si bien los LLM pueden expresar la incertidumbre verbalmente, su mapeo interno de estas expresiones hacia niveles de confianza es distinto de la cognición humana. VOCAL proporciona un mecanismo para alinear estas expresiones con la fiabilidad real del modelo, apoyando interacciones de IA más confiables.

Los autores concluyen que fundamentar la incertidumbre de los LLM en expresiones verbales, cuando se calibra adecuadamente para el modelo específico, ofrece un camino viable hacia una IA generativa más confiable y responsable.