Resumen Técnico: Formalización de los Pensamientos Latentes: Cuatro Axiomas de la Representación del Pensamiento en los LLM

Planteamiento del Problema

El campo del razonamiento en los Modelos de Lenguaje de Gran Escala (LLM) se está desplazando cada vez más desde los tokens discretos de Cadena de Pensamiento (CoT, por sus siglas en inglés) hacia representaciones latentes continuas (por ejemplo, Soft Thinking, Latent Thinking) para mejorar la eficiencia y la capacidad de razonamiento. Sin embargo, la evaluación de estas "representaciones de pensamiento continuo" es fundamentalmente defectuosa. Las metodologías actuales dependen casi exclusivamente de la precisión en tareas posteriores (por ejemplo, tasas de aprobación en benchmarks) para juzgar la calidad de la representación. Este enfoque confunde la calidad de la representación interna con la capacidad general del modelo para decodificar o procesar dicha representación. En consecuencia, los fallos representacionales quedan enmascarados por la precisión en la tarea posterior; un modelo puede lograr puntuaciones altas en un benchmark mientras que sus "pensamientos" internos fallan al codificar fielmente los pasos de razonamiento necesarios o al distinguir entre instancias distintas de la misma tarea.

Existe una falta de:

1. Una definición basada en principios de qué propiedades funcionales debe poseer una representación de pensamiento válida.
2. Un protocolo de evaluación intrínseco que mida la calidad de la representación independientemente de la precisión de la tarea posterior.
3. Una comprensión clara del estado actual de los métodos candidatos, dado que existen informes de que los tokens de razonamiento latente suelen ser innecesarios para las predicciones o no logran implementar búsquedas estructuradas en el espacio latente.

Metodología

Los autores proponen un marco de evaluación axiomático que caracteriza las representaciones de pensamiento basándose en cuatro propiedades funcionales, definidas independientemente de cualquier proceso de decodificación posterior. El marco trata la representación del pensamiento ($T$) como un estado funcional latente que media la transformación de un espacio de entrada ($X$) a un espacio semántico de salida ($S$).

Los Cuatro Axiomas

El marco define cuatro axiomas, cada uno con una medida cuantitativa calculada directamente sobre el LLM de origen sin reentrenamiento:

1. Causalidad: $T$ debe sustituir funcionalmente el prefijo de razonamiento explícito ($y_{pre}$) dentro del grafo computacional del modelo.

   • Métrica: Error de Sustitución KL. Medido reemplazando los embeddings de los tokens de $y_{pre}$ con la proyección de $T$ y calculando la divergencia de Kullback-Leibler (KL) entre la distribución de continuación original $P(y_{suf} | y_{pre})$ y la distribución intervenida $P(y_{suf} | T)$. Valores más bajos indican una mejor causalidad.

2. Minimalidad: $T$ debe comprimir la entrada mientras retiene la máxima relevancia para la distribución de salida, adhiriéndose al principio de Cuello de Botella de Información (Information Bottleneck). Debe filtrar las variables de molestia (contexto irrelevante) presentes en la entrada.

   • Métrica: Brecha de Minimalidad ($\Delta_{IB}$). Un sustituto de entropía cruzada para el Lagrangiano del Cuello de Botella de Información en $\beta=2$. Se calcula como $\Delta_{IB} = CE(X | Y, T) - CE(Y | T)$. Valores más altos indican una representación que es suficiente para la salida pero que añade la mínima información residual sobre la entrada más allá de lo que la salida ya proporciona.

3. Separabilidad: $T$ debe poseer una estructura topológica suficiente para distinguir entre distribuciones de salida semánticamente no equivalentes. Debe ser capaz de diferenciar entre dos preguntas distintas dentro de la misma tarea (nivel fino) y entre diferentes tareas (nivel grueso).

   • Métrica: Precisión del Discriminador. Se entrena un discriminador binario entrenable para alinear $T$ con una secuencia de salida candidata. La precisión se mide en pares de la misma tarea (nivel fino) y pares de distintas tareas (nivel grueso).

4. Estabilidad: $T$ debe ser invariante a las variaciones léxicas superficiales (parafraseo) y robusta a la estocasticidad del muestreo (colapso de modo). Debe codificar los parámetros de la distribución semántica $P(S|x)$ en lugar de una única realización.

   • Métrica: Puntuación de Consistencia Distribucional (DCS). El AUROC de un probador que predice si los outputs de un beam de una pregunta abarcan múltiples clases de equivalencia semántica (entropía semántica $H_x > 0$).

Configuración Experimental

• Candidatos: El estudio audita diversas representaciones candidatas, incluyendo el estado oculto del último token de entrada (LIT), Soft Thinking (con y sin ruido Gumbel) y Latent Thinking, a través de varios "presupuestos de pensamiento" (de 1 a 128 pasos).
• Modelos: Cinco LLM de pesos abiertos que abarcan diversas arquitecturas y paradigmas de entrenamiento: Llama-3.1-8B, Llama-3.3-70B (Dense/Instruct), DeepSeek-R1-Distill-Qwen-32B (Razonamiento por destilación), Skywork-OR1-32B (RL nativo) y GPT-OSS-20B (MoE disperso).
• Tareas: 23 tareas de razonamiento del conjunto de datos Big Bench Extra Hard (BBEH), que cubren razonamiento espacial, QA factual, acertijos lógicos y más.
• Protocolo: Las evaluaciones se realizan utilizando el LLM de origen con un backbone congelado de 1B para el sondeo, asegurando que las métricas estén desacopladas del tamaño del modelo de origen y de su rendimiento en la tarea posterior.

Resultados Clave

La aplicación de este protocolo intrínseco revela un "colapso representacional" que la precisión de los benchmarks posteriores no logra detectar:

1. Ningún candidato satisface todos los axiomas: Ninguna de las representaciones candidatas evaluadas satisface simultáneamente la Causalidad, la Minimalidad, la Separabilidad y la Estabilidad.
2. Fallo de Separabilidad (Identidad por Pregunta): Aunque las representaciones distinguen de forma fiable entre diferentes tareas (la precisión entre tareas está cerca de la saturación), fallan al distinguir entre diferentes instancias de la misma tarea (precisión dentro de la misma tarea). Casi todos los candidatos (excepto los Embeddings de Salida) operan en o cerca del nivel de la línea base aleatoria para la discriminación de la misma tarea. Esto indica que las representaciones latentes pierden la identidad específica de las preguntas individuales, colapsando caminos de razonamiento distintos en vectores indistinguibles.
3. Competitividad del Embedding de Entrada: El propio embedding del prompt de entrada es competitivo con, y a menudo superior a, las representaciones de pensamiento candidatas en los cuatro ejes. Esto sugiere que las representaciones de pensamiento actuales codifican poca información más allá de la que ya está presente en el embedding de entrada.
4. Fallo Estructural: El patrón de fallo es consistente en las familias de modelos densos, de destilación de razonamiento y de entrenamiento por RL. Aumentar el número de pasos de pensamiento (por ejemplo, en Soft Thinking o Latent Thinking) no resuelve el colapso; en algunos casos, el rendimiento se degrada a medida que aumenta el recuento de pasos.
5. Causalidad vs. Entrada: Ninguna representación de pensamiento proporciona de forma consistente más información causal que el embedding de la entrada por sí solo. Reemplazar el prefijo de razonamiento con $T$ produce una distribución de continuación indistinguible de reemplazarlo con el embedding de la entrada, lo que implica que $T$ no añade una señal causal única.

Significado y Reivindicaciones

El artículo afirma proporcionar un medio basado en principios para desarrollar y auditar representaciones de pensamiento candidatas como objetos de estudio, evaluadas por lo que un LLM codifica sobre un problema en lugar de la calidad del razonamiento posterior de cualquier cadena.

• Resolución Diagnóstica: El marco permite a los investigadores atribuir los cambios en la precisión de la tarea posterior a propiedades representacionales específicas (por ejemplo, una caída en la Separabilidad) en lugar de a puntuaciones agregadas de benchmarks que oscurecen la causa raíz.
• Objetivos de Optimización: Las cuatro medidas proporcionan objetivos de optimización cuantificables y explícitos para la investigación futura, yendo más allá de los proxies heurísticos como los presupuestos de tokens o la imitación de la CoT explícita.
• Perspectiva Estructural: Los hallazgos sugieren que la brecha entre los métodos actuales de razonamiento latente y el pensamiento funcional ideal es estructural, no es simplemente una función del tamaño del modelo o de procedimientos de entrenamiento específicos (como RL o destilación). La generación actual de representaciones latentes falla al implementar la búsqueda estructurada y específica de instancias requerida para un razonamiento robusto.

Los autores posicionan este marco como algo ortogonal a la evaluación de benchmarks de razonamiento, ofreciendo una capa necesaria de análisis para comprender la mecánica interna de los modelos de razonamiento antes de que puedan ser mejorados de forma fiable. El código y el flujo de evaluación se ponen a disposición pública para facilitar su auditoría y desarrollo.