💬 NLP

The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models

Este artículo revela que las representaciones internas de la veracidad en los modelos de lenguaje forman una estructura geométrica simple y de baja dimensión definida por centroides de clase, lo que permite la detección y manipulación causal altamente efectiva de las alucinaciones mediante sondas lineales y el direccionamiento de activaciones.

Autores originales: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Publicado 2026-07-31

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás hablando con un robot muy inteligente, muy rápido, que ha leído casi todos los libros jamás escritos. Le haces una pregunta y él responde con una gramática perfecta y una confianza total. Pero, a veces, el robot se equivoca. Podría decirte que la capital de Australia es Sídney (en realidad es Canberra) o que una figura histórica famosa nació en el siglo equivocado. Lo aterrador es que el robot suena igual de seguro cuando miente que cuando dice la verdad. No tartamudea, no duda, y su "medidor de confianza" (los números que calcula internamente) parece normal.

Durante mucho tiempo, los científicos se preguntaron: ¿Sabe el robot que está equivocado, aunque no lo diga? ¿Existe una señal secreta oculta en lo profundo de su cerebro que diga: "¡Oye, este hecho es falso!"? Para entender esto, necesitamos saber un poco sobre cómo funcionan estos robots. Ellos no piensan como los humanos; procesan la información como nubes masivas de números llamadas "activaciones". A medida que el robot lee y piensa, estos números fluyen a través de capas de una red digital. Los científicos han descubierto que estas nubes de números no son solo aleatorias; tienen formas y estructuras. A veces, la diferencia entre un hecho verdadero y una mentira no es un patrón complejo y desordenado, sino una línea simple y recta en este espacio digital. La gran pregunta es: ¿Podemos encontrar esa línea y podemos usarla para atrapar al robot en una mentira incluso antes de que termine su frase?

Esto es exactamente lo que el artículo "The Confidence Manifold" busca explorar. Los investigadores, liderados por Seonglae Cho y sus colegas, decidieron mirar dentro de los cerebros de 11 modelos de lenguaje diferentes, que van desde los pequeños con 124 millones de parámetros hasta los masivos con 14 mil millones. Querían mapear la "geometría de la corrección": la forma y ubicación específica en el cerebro del robot donde vive la verdad.

Piensa en el cerebro del robot como una habitación gigante de múltiples dimensiones. Cada vez que el robot piensa en una oración, coloca un punto en esta habitación. Si la oración es verdadera, el punto cae en un área; si es falsa, cae en otra. Los investigadores descubrieron que estos puntos no están esparcidos aleatoriamente por toda la habitación. En cambio, están organizados ordenadamente en dos grupos distintos, como dos montones de canicas. El montón de la "verdad" y el montón de la "mentira" están separados por un pasillo muy simple y de baja dimensión.

Aquí está la parte más sorprendente: no necesitas una computadora supercompleja para distinguir estos montones. Los investigadores descubrieron que la diferencia entre una afirmación verdadera y una falsa es solo un simple desplazamiento en la posición promedio de estos puntos. Es como si tuvieras una bolsa de canicas rojas y una bolsa de canicas azules. No necesitas medir el tamaño, el peso o la textura de cada una de las canicas para distinguirlas; solo necesitas saber que las rojas están, en promedio, ligeramente hacia la izquierda, y las azules están, en promedio, ligeramente hacia la derecha. En el cerebro del robot, este "posición promedio" (o centroide) es todo lo que importa. Los investigadores descubrieron que podían detectar mentiras con un 90% de precisión usando solo 25 ejemplos etiquetados para encontrar estos dos centros. Mejor aún, descubrieron que esta "señal de verdad" solo vive en un pequeño pasillo de solo 2 a 8 dimensiones, a pesar de que el cerebro del robot tiene miles de dimensiones para jugar.

El equipo no solo observó; también pinchó y presionó al robot para ver si esta señal era real. Utilizaron una técnica llamada "direccionamiento de activación" (activation steering), que es como dar un suave empujón a los números internos del robot en una dirección específica. Cuando empujaron al robot hacia la dirección de la "verdad", este empezó a cometer menos errores. Cuando lo empujaron hacia la dirección de la "mentira", empezó a tener más alucinaciones. También intentaron borrar la señal por completo eliminando ese pasillo específico del cerebro del robot, y de repente, el robot se volvió completamente incapaz de distinguir la verdad de las mentiras, desempeñándose no mejor que el azar. Esto demostró que la señal no era una coincidencia; era una parte necesaria de cómo el robot procesa los hechos.

Sin embargo, el artículo también nos advierte que esto no es una solución mágica para todas las situaciones. Los investigadores descubrieron que este "detector de verdad" interno funciona increíblemente bien cuando el robot está siendo tramposo, como cuando afirma con confianza un error común. Pero en preguntas estándar y aburridas donde el robot no está intentando engañar a nadie, la propia salida del robot (lo que dice en voz alta) es igual de buena para decir la verdad. La señal interna brilla con más fuerza cuando el robot está siendo engañoso.

Otro hallazgo interesante es cómo estas señales viajan entre diferentes tipos de preguntas. Si le enseñas al robot a detectar mentiras en un conjunto de datos específico (como un cuestionario sobre historia), es posible que no pueda detectar mentiras en un conjunto de datos diferente (como un cuestionario sobre ciencia), a menos que lo entrenes en ambos al mismo tiempo. Es como aprender a conducir un coche en una pista de carreras y que eso no te haga automáticamente bueno conduciendo en una ciudad con nieve; necesitas practicar ambos. Los investigadores demostraron que, al entrenar al detector en múltiples conjuntos de datos simultáneamente, podían crear una "brújula de la verdad" universal que funciona a través de diferentes temas.

Al final, este artículo nos da una imagen más clara de cómo los modelos de lenguaje manejan la verdad. Sugiere que, en lo profundo de estas máquinas complejas, la diferencia entre lo correcto y lo incorrecto es sorprendentemente simple: es solo cuestión de en qué lado de una línea cae el dato. Si bien esto no significa que podamos arreglar instantáneamente todas las mentiras del robot en cada situación, demuestra que el robot sí sabe cuándo está equivocado, incluso si no siempre lo admite. La señal está ahí, es geométrica y está esperando ser encontrada.

Resumen Técnico: El Manifold de la Confianza

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) a menudo afirman conceptos erróneos con la misma fluidez y confianza que los hechos, lo que hace que las métricas de incertidumbre basadas en la salida (como la entropía de tokens o la entropía semántica) sean insuficientes para detectar alucinaciones. Si bien trabajos previos han establecido que existen señales relacionadas con la verdad de forma lineal dentro de la corriente residual de los LLMs, la estructura geométrica de estas señales permanece sin caracterizar. Específicamente, se desconoce:

Cuántas dimensiones son necesarias para separar enunciados correctos de incorrectos.
Qué tan simple puede ser la regla de decisión antes de que la señal se pierda.
Si la dirección de esta señal es causalmente responsable de la salida del modelo o si simplemente se correlaciona con ella.
Si un detector entrenado en un conjunto de datos se transfiere a otros.

Este artículo aborda estas preguntas caracterizando el "Manifold de la Confianza" (Confidence Manifold)—la estructura geométrica de las representaciones de corrección—a través de 11 modelos que van desde 124M hasta 14B de parámetros.

Metodología

Los autores emplean un enfoque de múltiples etapas que involucra construcción de datos, análisis geométrico y validación causal:

Construcción de Datos: Utilizando TruthfulQA, los autores construyen pares contrastivos donde el mismo tronco de pregunta se empareja tanto con una respuesta correcta como con una incorrecta. Esto aísla la señal de corrección de la variación de contenido. Los estados ocultos se extraen de la posición del último token en todas las capas.
Aprendizaje de Dirección y Análisis Geométrico:
- Entrenamiento de Sondas (Probes): Se entrenan sondas de regresión logística para predecir etiquetas binarias de corrección a partir de los estados ocultos.
- Barrido de Dimensionalidad: Los autores utilizan regresión de Mínimos Cuadrados Parciales (PLS) para proyectar las activaciones en subespacios de dimensiones variables ( $k$ ) para determinar la dimensionalidad óptima para la clasificación.
- Dimensión Intrínseca: Se utiliza el estimador MLE de Levina–Bickel para medir la dimensión intrínseca del manifold de la representación de forma independiente a la clasificación.
- Análisis de Centroides: Los autores prueban si la frontera de decisión colapsa a una métrica simple de distancia al centroide (desplazamiento de la media) en lugar de requerir un hiperplano complejo.
Validación Causal: Tres métodos complementarios se utilizan para validar el subespacio:
- Direccionamiento de Activación (Activation Steering): Intervenir en la corriente residual ( $h' = h + \alpha \hat{w}$ ) para observar si el desplazamiento a lo largo de la dirección aprendida altera causalmente las tasas de alucinación.
- Borrado de Conceptos (RLACE): Proyectar las activaciones sobre el nulospacio de la dirección de corrección para probar si la señal es necesaria para la detección.
- Búsqueda de Alineación Distribuida (DAS): Un método de intervención de intercambio que explícitamente barre el rango $k$ para acotar la dimensionalidad causal del subespacio.

Resultados Clave

1. Subespacio Discriminativo de Bajo Rango

A través de 11 modelos, la señal de corrección se concentra en un subespacio de 2 a 8 dimensiones.

El rendimiento alcanza su punto máximo dentro de este rango y se degrada significativamente a medida que aumentan las dimensiones (por ejemplo, GPT-2 cae un 18% en AUC al pasar de 3D a 32D), lo que indica que las dimensiones adicionales introducen ruido en lugar de señal.
La dimensión intrínseca del manifold de incrustación (8–12D) es mayor que la dimensión discriminativa (2–8D), lo que sugiere que la señal es una característica de bajo rango dentro de un espacio de mayor dimensionalidad.

2. Suficiencia de Centroides (Desplazamiento de la Media)

La regla de decisión para la corrección es notablemente simple: dos centroides de clase son suficientes.

La separación entre las clases correctas e incorrectas está dominada por un desplazamiento de la media (mean shift) en lugar de una diferencia en la covarianza.
Los clasificadores geométricos (distancia al centroide, distancia de Mahalanobis) funcionan dentro de un $\pm 0.02$ de AUC respecto a las sondas lineales entrenadas.
Las variantes de múltiples prototipos (por ejemplo, K-Means con múltiples centroides por clase) degradan el rendimiento, confirmando que las distribuciones por clase son unimodales.
La detección basada en centroides es altamente eficiente en etiquetas, recuperando el 90% del rendimiento de datos completos con solo 25 ejemplos etiquetados.

3. Estructura Causal

Eficacia: El direccionamiento a lo largo de la dirección aprendida desplaza las tasas de alucinación en 9.1 puntos porcentuales en Qwen2-7B (la tasa de error se mueve de 0.56 a 0.52 o 0.61 dependiendo de la dirección).
Necesidad: El borrado del subespacio mediante RLACE colapsa el rendimiento de detección al azar ( $\approx 0.50$ AUC).
Rango Causal: Mientras que el direccionamiento y el borrado no acotan el rango, DAS establece de forma independiente que el rango causal es de a lo sumo 5 dimensiones en todos los modelos probados.

4. Ventaja Específica de Régimen

Las sondas internas superan a los métodos de incertidumbre basados en la salida (P(Verdad), entropía semántica) específicamente en datos de conceptos erróneos adversarios (por ejemplo, TruthfulQA), donde los modelos están erróneamente seguros.

En TruthfulQA, las sondas internas alcanzan 0.80–0.94 AUC, mientras que los métodos de salida caen a 0.44–0.64.
En conjuntos de datos de QA estándar (SciQ, FEVER, CommonsenseQA), la brecha se cierra y los métodos de salida funcionan de manera comparable a las sondas internas.
La ventaja no es una superioridad universal, sino específica de los regímenes donde la confianza del modelo se desacopla de la corrección.

5. La Transferencia Requiere Entrenamiento Conjunto

Las sondas entrenadas en un solo conjunto de datos (por ejemplo, TruthfulQA) se transfieren de forma casi aleatoria (0.39–0.66 AUC) a otros conjuntos de datos.

El fallo se atribuye a un desajuste direccional (ortogonalidad) entre los conjuntos de datos, más que a la ausencia de una señal.
El entrenamiento conjunto multidetal restaura la transferibilidad, logrando 0.73–0.91 AUC en modelos con ajuste de instrucciones.
Esto sugiere que un "hiperplano de veracidad universal" requiere restringir el subespacio con múltiples conjuntos de datos para alinear la orientación.

Significado y Reivindicaciones

El artículo se posiciona no como una propuesta de un nuevo detector, sino como una caracterización de la geometría de la corrección.

Suficiencia de Centroides: La principal afirmación es que la separación de la verdad y la falsedad en los LLMs es un simple desplazamiento de la media en un subespacio de bajo rango, no un hiperplano de decisión complejo y de alto rango. Esto explica por qué las reglas geométricas simples (distancia al centroide) igualan a las sondas entrenadas complejas.
Rango Causal Acotado: Los autores proporcionan evidencia de que el mecanismo causal para la corrección ocupa un número muy pequeño de dimensiones (2–8 para detección, $\le 5$ para causalidad), refinando la "Hipótesis de Representación Lineal" hacia una hipótesis de "Separador Lineal de Bajo Rango".
Transferencia Dependiente de la Receta: El artículo aclara que la transferibilidad no es automática; requiere un entrenamiento conjunto para resolver el desalineamiento direccional entre conjuntos de datos.
Limitaciones: Los autores señalan explícitamente que sus resultados se derivan de entornos de teacher-forcing (donde se le da al modelo los tokens de la respuesta correcta). No afirman que estos resultados se traduzcan directamente a la generación de texto libre sin validación adicional, ya que la elección del juez en entornos de texto libre introduce un ruido significativo. Además, el límite del rango causal es específico para los modelos y las capas probadas.

En resumen, el artículo establece que la corrección en los LLMs está codificada como una señal de bajo rango y desplazamiento de la media en la corriente residual, la cual es causalmente necesaria para la salida del modelo, pero requiere regímenes de entrenamiento específicos para generalizarse a través de dominios.