PRISM: A Dual View of LLM Reasoning through Semantic Flow and Latent Computation

Resumen Técnico: PRISM

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) resuelven problemas complejos generando trazas de razonamiento de múltiples pasos. Sin embargo, el análisis de estas trazas suele limitarse a una de dos perspectivas aisladas:

1. Perspectiva Externa (Semántica): La secuencia de tokens generados a lo largo de los pasos de razonamiento.
2. Perspectiva Interna (Latente): Los vectores de estado oculto a través de las capas del modelo dentro de un solo paso.

La literatura actual carece de un marco unificado que caracterice el razonamiento considerando simultáneamente su dinámica estructural interna (cómo se computa) y su progresión semántica externa (qué se dice). Esto limita la comprensión de cómo los modelos llegan a una respuesta, más allá de la simple precisión final (éxito/fracaso).

2. Metodología: El Marco PRISM

Los autores introducen PRISM (Probabilistic Reasoning Inspection through Semantic and Implicit Modeling), un marco diagnóstico que modela las trayectorias de razonamiento como un proceso estructurado de dos etapas conectadas:

• Etapa Explícita (Flujo Semántico):

  • Modela el razonamiento como una cadena de Markov de $m$-ésimo orden.
  • Clasifica cada paso de razonamiento en una de cuatro categorías semánticas:
    1. SR (Setup & Retrieval): Configuración y recuperación de información.
    2. AC (Analysis & Computation): Análisis y cálculo.
    3. UV (Uncertainty & Verification): Incertidumbre y verificación.
    4. FA (Final Answer): Respuesta final.
  • Utiliza matrices de transición para analizar cómo fluyen los pasos entre estas categorías.

• Etapa Implícita (Regímenes Computacionales):

  • Analiza los estados ocultos de cada paso a través de las capas del transformador.
  • Utiliza Modelos de Mezcla Gaussiana (GMM) específicos por categoría para identificar "regímenes computacionales latentes" ($z$) dentro de cada paso.
  • Cada capa del modelo se caracteriza por una distribución de probabilidad sobre estos regímenes latentes.

• Matriz de Puente (Cross-Step Bridge):

  • Es el componente clave que une ambas etapas.
  • Modela cómo el régimen de salida de un paso ($t-1$) y su categoría influyen en el régimen de entrada y la categoría del siguiente paso ($t$).
  • Se entrena mediante un procedimiento Expectation-Maximization (EM) en dos fases: primero se ajustan los GMMs, luego se entrena la matriz de puente para capturar las dependencias entre pasos.

3. Contribuciones Clave

1. Marco Unificado: PRISM es la primera herramienta que integra el análisis de flujos semánticos externos con patrones computacionales internos latentes en un solo modelo probabilístico.
2. Diagnóstico de Fallos: Permite identificar patrones sistemáticos en trayectorias fallidas que la precisión agregada oculta, como bucles de verificación improductivos, "sobre-pensamiento" (overthinking) y compromiso prematuro (premature commitment).
3. Análisis de Prompting: Proporciona una lente para evaluar cómo las estrategias de prompting modifican no solo la precisión, sino la estructura interna del razonamiento (transiciones semánticas y patrones computacionales).

4. Resultados Principales

Los experimentos se realizaron en cuatro modelos de razonamiento de código abierto (Bespoke-Stratos, OpenThinker, Qwen3, Nemotron) y cuatro benchmarks (MATH-500, AIME-2024, GPQA-Diamond, WebInstruct).

• Dinámicas Semánticas de Éxito vs. Fracaso:

  • Las trayectorias fallidas tienden a entrar más fácilmente en la etapa de Verificación (UV) pero tienen dificultades para salir de ella y volver a la Computación (AC), quedando atrapadas en bucles de verificación improductivos.
  • Las trayectorias correctas muestran transiciones más eficientes hacia la respuesta final.

• Patrones de Fallo Distintos:

  • Sobre-pensamiento (Overthinking): Los fallos largos ($\ge$ 100 pasos) alcanzan una respuesta candidata temprana, pero vuelven a entrar repetidamente en el estado de respuesta final, indicando deliberación excesiva después de tener una solución.
  • Compromiso Prematuro (Premature Commitment): Los fallos cortos (< 100 pasos) alcanzan la respuesta final más tarde en la secuencia y se detienen rápidamente, sugiriendo que el modelo termina el razonamiento demasiado pronto.

• Estructuras Internas Diferentes:

  • Las trayectorias correctas e incorrectas activan diferentes regímenes latentes en las capas del transformador. Por ejemplo, en pasos de verificación fallidos, se observan regímenes específicos en las capas iniciales y finales que no están presentes en los pasos correctos.

• Impacto del Prompting:

  • Instrucciones de "ser conciso" fragmentan el razonamiento, reduciendo los bucles de auto-computación y aumentando las transiciones hacia la verificación.
  • Instrucciones de "explorar múltiples caminos" fomentan un ciclo bidireccional más fuerte entre computación y verificación, evitando bucles estancados.

5. Significado e Impacto

PRISM representa un avance significativo en la interpretabilidad de LLMs al:

• Transformar el análisis de razonamiento de una métrica binaria (correcto/incorrecto) a un proceso estructurado y observable.
• Proporcionar herramientas prácticas para diagnosticar por qué un modelo falla (ej. si se atasca en verificación o si se compromete demasiado pronto).
• Permitir a los investigadores y desarrolladores entender cómo las intervenciones externas (como el prompting) reconfiguran la arquitectura interna de la inferencia del modelo.
• Sentar las bases para futuros sistemas de razonamiento más robustos y optimizables basados en la comprensión de sus dinámicas internas y externas.

En conclusión, PRISM ofrece una visión dual esencial para desentrañar la "caja negra" del razonamiento en LLMs, conectando lo que el modelo dice con cómo lo calcula internamente.