Resumen Técnico: Desvelando la Geometría de Representación de los Núcleos Mínimos en Rastros de Razonamiento Sobredimensionados

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) generan cada vez más rastros de pensamiento en cadena (CoT) extensos para resolver problemas complejos de razonamiento. Sin embargo, sigue sin estar claro cuánto de este razonamiento generado es estrictamente necesario para preservar la predicción final del modelo. El trabajo existente se centra en elicitar un mejor razonamiento o entrenar modelos para razonar con mayor eficiencia, pero pocos estudios analizan la suficiencia conductual de los rastros ya generados.

Este artículo postula que los rastros de razonamiento generados a menudo son sobredimensionados: contienen un subconjunto propio de pasos que preserva el comportamiento predictivo del modelo, rodeado de una "masa de razonamiento eliminable" como reiteraciones, parafraseos, justificaciones estilísticas, comprobaciones redundantes o rutas alternativas que no afectan la salida final. La pregunta central es: ¿Cuánto de un trazo de razonamiento generado es realmente necesario?

Metodología

Definiciones y Formalismo

Los autores formalizan el concepto de Núcleo Mínimo como el subconjunto más pequeño de pasos $S \subseteq [T]$ de un trazo $z = (r_1, \dots, r_T)$ que preserva el comportamiento predictivo del modelo.

• Suficiencia de Preservación de Respuesta: Un subconjunto es suficiente si produce la misma respuesta top-1 que el trazo completo.
• Suficiencia de Preservación de Distribución: Una condición más estricta donde el subconjunto preserva la distribución predictiva dentro de una tolerancia $\epsilon$ (medida mediante divergencia $D$).
• Métricas:
  • Ratio de Compresión (CR): $|S^*|/T$, la fracción de pasos retenidos.
  • Masa de Redundancia (RM): $1 - CR$, la fracción de pasos eliminables.
  • Necesidad del Paso ($\Delta_t$): Medida mediante el cambio de pérdida al dejar uno fuera. Un paso tiene alta necesidad si su eliminación aumenta significativamente la pérdida de la tarea (por ejemplo, la verosimilitud negativa del logaritmo de la respuesta).
  • Concentración de Necesidad: La fracción de la masa total de necesidad atribuida a los $k$ pasos principales.

Algoritmos de Extracción

Para identificar núcleos mínimos, el artículo propone:

1. Eliminación Atrás Codiciosa: Comenzando desde el trazo completo, el algoritmo elimina iterativamente el paso que causa el menor "daño" (medido por una puntuación de verificador, confianza o aumento de pérdida) mientras mantiene el predicado de suficiencia. Esto termina cuando ninguna eliminación de un solo paso preserva la suficiencia, produciendo un subconjunto suficiente localmente irreducible.
2. Poda Guiada por Necesidad: Una alternativa más barata y no adaptativa que clasifica los pasos por necesidad y elimina primero los de baja necesidad.
3. Línea Base de Eliminación Aleatoria: Utilizada para establecer que la estructura de los pasos eliminables no es meramente una función de la longitud del trazo.

Garantías Teóricas

El artículo establece varias propiedades teóricas:

• Existencia: Los núcleos mínimos existen para cualquier trazo suficiente finito.
• Irreductibilidad Local: La eliminación atrás codiciosa garantiza un subconjunto suficiente localmente irreducible (ningún paso individual puede eliminarse sin violar la suficiencia).
• Certificados: Las eliminaciones suficientes observadas sirven como certificados de sobredimensión, proporcionando límites superiores en los ratios de compresión y límites inferiores en la masa eliminable.

Análisis de la Geometría de Representación

Los autores analizan la geometría de incrustación de trazos completos, núcleos mínimos y pasos eliminados utilizando:

• Compacidad: Varianza de las incrustaciones.
• Separación de Corrección: Capacidad de sondas lineales y clasificadores de vecinos más cercanos para distinguir trazos correctos de incorrectos.
• Dimensión Intrínseca: Estimada mediante ratios de participación de PCA.
• Transferibilidad: Rendimiento de núcleos extraídos de una familia de modelos cuando se utilizan como contexto para otra.

Configuración Experimental

El marco se evaluó en seis benchmarks de razonamiento deliberativo:

• Aritmética: GSM8K
• Matemáticas de Competición: MATH500, AIME24, AMC23
• Razonamiento Científico de Expertos: GPQA-Diamond
• QA Multi-salto de Sentido Común: StrategyQA

Los modelos probados incluyeron modelos de pesos abiertos (DeepSeek-R1-Distill-Qwen-7B/32B, Qwen3-32B) y el de código cerrado GPT-5. Los trazos se generaron con prompts de CoT de baja temperatura.

Resultados Clave

1. Sobredimensión Sustancial

En todos los conjuntos de datos y modelos, la extracción codiciosa de núcleos mínimos eliminó una porción significativa del trazo mientras preservaba la respuesta original:

• Eliminación Promedio: Aproximadamente el 46% de los pasos son eliminables.
• Retención: La respuesta original se preserva en el 86% de los casos en promedio.
• Variación: La sobredimensión es más alta en GSM8K y StrategyQA (donde los trazos a menudo contienen holgura explicativa) y más baja en AIME24 y GPQA-Diamond (donde las derivaciones son más frágiles).

2. Soporte Predictivo Concentrado

La necesidad predictiva es altamente dispersa:

• Los 3 pasos principales representan un promedio del 65% de la masa de necesidad medida.
• Los 5 pasos principales representan el 82%.
  Esto sugiere que la utilidad del razonamiento se concentra en un pequeño conjunto de pasos de alta necesidad en lugar de distribuirse uniformemente.

3. Transferibilidad y Geometría

Los núcleos mínimos exhiben una geometría de representación "más limpia" en comparación con los trazos completos:

• Transferencia Inter-modelo: Los núcleos mínimos se transfieren entre familias de modelos con una retención de respuestas fuera de la diagonal del 85%, superando significativamente a subconjuntos aleatorios de la misma longitud.
• Separación de Corrección: Las incrustaciones de núcleos mínimos mejoran la separación entre trazos correctos e incorrectos en 11 puntos (precisión de la sonda) en comparación con los trazos completos.
• Dimensión: Los núcleos mínimos reducen la dimensión intrínseca estimada en un 34%, lo que indica que ocupan una región más compacta del espacio de representación.
• Pasos Eliminados: Las incrustaciones de los pasos eliminados son más difusas y menos predictivas de la corrección, confirmando que portan señales más débiles relevantes para la tarea.

Significado y Afirmaciones

El artículo afirma que los trazos de razonamiento completos a menudo son verbosos y sobredimensionados, conteniendo andamiaje eliminable que no contribuye al comportamiento predictivo del modelo. Al aislar núcleos mínimos, los autores demuestran que:

1. Suficiencia Conductual: El soporte efectivo para las predicciones del modelo de lenguaje es disperso y se concentra en un pequeño subconjunto de pasos.
2. Pureza Geométrica: Los núcleos mínimos exponen una geometría de razonamiento más limpia, de menor dimensión y más informativa sobre la corrección que los trazos completos.
3. Estructura Transferible: Los pasos centrales de razonamiento son robustos entre diferentes familias de modelos, lo que sugiere que capturan patrones de razonamiento generalizables en lugar de formulaciones específicas del modelo.

Los autores señalan explícitamente limitaciones: los núcleos mínimos son conductuales y relativos al modelo, no explicaciones causales completas ni racionalizaciones humanas. La extracción codiciosa es óptima localmente, no globalmente. Además, las métricas basadas en verosimilitud requieren modelos de pesos abiertos, lo que limita algunos análisis a evaluaciones conductuales para modelos de código cerrado.

En conclusión, el trabajo proporciona un marco cuantitativo para comprender el "soporte efectivo" subyacente a las predicciones de los LLM, sugiriendo que, aunque los trazos largos ayudan a la legibilidad y la verificación, el mecanismo predictivo central depende de un subconjunto significativamente más pequeño y geométricamente distinto de pasos de razonamiento.