Resumen Técnico: El Razonador Geométrico (TGR)

Enunciado del Problema

Escalar el cómputo en tiempo de prueba ha demostrado ser efectivo para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM) mediante trayectorias largas de cadena de pensamiento (CoT). Sin embargo, los enfoques existentes enfrentan un compromiso fundamental entre el costo computacional y la calidad de la cobertura de la trayectoria.

• Métodos Intensivos en Entrenamiento: El Aprendizaje por Refuerzo (RL) y la optimización de preferencias (por ejemplo, GRPO, SimKO) amortizan el control de largo horizonte en los pesos del modelo. Aunque son efectivos para la precisión de una sola muestra, estos métodos requieren un cómputo de entrenamiento sustancial y corren el riesgo de colapsar la distribución de trayectorias, reduciendo la diversidad.
• Muestreo Sin Entrenamiento: Las estrategias de muestreo estándar (por ejemplo, Muestreo de Potencia, Árbol de Pensamientos) intercambian cómputo por cobertura sin reentrenar. Sin embargo, a menudo sufren de rendimientos decrecientes a medida que las muestras adicionales permanecen altamente correlacionadas, fallando en expandir el conjunto de trayectorias distintas y válidas.
• Restricciones de Memoria: La complejidad cuadrática de los mecanismos de atención y la huella de memoria de la caché KV constituyen un cuello de botella para el despliegue práctico, haciendo que la exploración ingenua de largo horizonte sea intratable bajo límites estrictos de memoria.

Existe una necesidad crítica de un procedimiento de búsqueda en tiempo de inferencia sin entrenamiento que asigne dinámicamente cómputo para lograr una exploración controlable y una cobertura robusta sin incurrir en costos de memoria prohibitivos ni gastos de entrenamiento.

Metodología: El Razonador Geométrico (TGR)

El Razonador Geométrico (TGR) es un marco sin entrenamiento que realiza una búsqueda de previsión latente informada por variedad. Trata el razonamiento como una búsqueda de caminos en una variedad latente, evitando restricciones rígidas que se vuelven frágiles en espacios de alta dimensión.

Arquitectura Central

1. Inferencia Fragmentada con Reinicios de KV: TGR segmenta el razonamiento en fragmentos de longitud fija. En cada límite de fragmento, realiza un reinicio de caché KV, reconstruyendo la caché de prefijo a partir de un contexto explícito acotado (consulta + tokens recientes) mientras descarta la historia anterior. Esto asegura que el uso de memoria permanezca lineal ($O(S)$) en relación con la longitud del fragmento, independientemente del horizonte total de razonamiento.
2. Anclas de Estado Latente: En lugar de depender de transiciones de estado aprendidas o verificadores externos, TGR extrae anclas latentes de norma unitaria compactas ($z_t$) de los estados ocultos en los límites de los fragmentos. Estas anclas sirven como resúmenes de estado que transmiten información de largo alcance a través de los reinicios de fragmentos.
3. Búsqueda de Previsión: En cada límite, TGR muestrea $K$ anclas candidatas del vecindario local del estado actual (mediante perturbación en el espacio tangente sobre la esfera unitaria). Evalúa estos candidatos utilizando una función de puntuación geométrica suave antes de generar el siguiente fragmento.

El Objetivo de Puntuación

Los candidatos se clasifican maximizando una puntuación compuesta que equilibra tres factores:
$$\text{Puntuación}(a; c, z) = V_{\text{fore}}(a; c) - \lambda_b P_{\text{bum}}(a; c) - \lambda_u P_{\text{uni}}(a; z)$$

• Valor de Previsión ($V_{\text{fore}}$): Una estimación ligera de visión hacia adelante calculada mediante un despliegue superficial ($s \ll S$ tokens). Mide la consistencia de la verosimilitud logarítmica del candidato, actuando como un proxy para la utilidad inmediata sin modelos de recompensa externos.
• Penalización de Irregularidad ($P_{\text{bum}}$): Un regularizador que penaliza las variaciones de alta frecuencia en la trayectoria latente (diferencias discretas de segundo orden). Esto fomenta transiciones suaves y coherentes entre fragmentos.
• Regularizador de Uniformidad ($P_{\text{uni}}$): Una fuerza repulsiva (penalización de bisagra) que desalienta que los candidatos se agrupen demasiado cerca del ancla anterior. Esto promueve una exploración diversa y previene el colapso de modos.

Condicionamiento de Anclas

Las anclas seleccionadas se inyectan en el LLM base congelado mediante inyección residual de bajo rango en cada capa del transformador. Esto permite que el modelo condicione su generación en el estado latente elegido sin requerir actualizaciones de parámetros ni cambios arquitectónicos.

Contribuciones Clave

1. Búsqueda de Previsión Latente Informada por Variedad: TGR introduce un marco sin entrenamiento que puntúa anclas latentes a nivel de fragmento utilizando un objetivo geométrico suave. Esto permite una exploración controlable y una cobertura robusta de trayectorias sin actualizaciones de parámetros.
2. Robustez Eficiente en Presupuesto: El marco mejora significativamente la cobertura robusta de trayectorias (medida por el Área Bajo la Curva Pass@k, AUC) en benchmarks desafiantes de matemáticas y código. En Qwen3-8B, TGR logra hasta 13 puntos de ganancia en AUC con una sobrecarga de inferencia negligible (aprox. 1.1–1.3×).
3. Límites de Escalado de la Geometría Rígida: El artículo demuestra que el filtrado geométrico rígido (restricciones de factibilidad estrictas) sufre de tasas de aceptación que se desvanecen en espacios latentes de alta dimensión debido a la concentración de la medida. TGR establece la regularización geométrica suave como una alternativa escalable que preserva el sesgo geométrico sin el costo prohibitivo del muestreo por rechazo.

Resultados Experimentales

TGR fue evaluado en el modelo Qwen3-8B a través de benchmarks de razonamiento matemático (MATH500, AIME25, OlympiadBench, OmniMath) y generación de código (HumanEval, BigCodeBench, LiveCodeBench).

• Rendimiento: TGR-Latent supera consistentemente a las líneas base, incluido el muestreo sin entrenamiento (Muestreo de Potencia) y los enfoques intensivos en entrenamiento RL (LCoT-GRPO, Delethink). Logra las puntuaciones AUC más altas, indicando una capacidad superior para generar trayectorias de solución distintas y válidas.
• Eficiencia: TGR iguala o supera el rendimiento de las líneas base ajustadas con RL mientras consume menos tokens de avance totales (por ejemplo, 18% menos tokens que algunas líneas base RL en tareas matemáticas).
• Diversidad: El análisis de la geometría latente muestra que TGR mantiene una distribución de anclas dispersa, mientras que las líneas base ajustadas con RL tienden a colapsar en conos estrechos y correlacionados. El término de uniformidad es crítico para mantener esta diversidad.
• Escalabilidad: El método se generaliza a través de escalas de modelo (de 1.7B a 14B) y permanece robusto ante variaciones en la longitud del fragmento, siempre que el horizonte total esté fijo.

Significado y Afirmaciones

El artículo postula que la cobertura robusta en el razonamiento de largo horizonte no necesita necesariamente ser amortizada mediante un entrenamiento costoso. En su lugar, puede inducirse sobre la marcha mediante una búsqueda estructurada en el espacio latente.

• Desacoplar el Control del Entrenamiento: Al externalizar la guía geométrica como una capa de control en tiempo de inferencia, TGR ofrece controles ajustables para mediar el compromiso entre el valor de visión hacia adelante, la coherencia y la diversidad. Esto es particularmente efectivo para modelos (por ejemplo, solo SFT) donde la distribución de trayectorias retiene flexibilidad residual.
• Restricciones Suaves vs. Rígidas: El trabajo destaca que las penalizaciones geométricas suaves son superiores al filtrado de factibilidad rígido en espacios de alta dimensión, evitando el colapso exponencial de las tasas de aceptación mientras aún guían la búsqueda hacia caminos coherentes y diversos.
• Despliegue Práctico: TGR proporciona una vía para mejorar las capacidades de razonamiento en presupuestos de cómputo fijos o moderadamente aumentados, haciéndolo adecuado para aplicaciones como la asistencia en programación donde entrenar nuevos modelos es inviable.

Los autores señalan limitaciones, incluido el aumento de la latencia de inferencia debido a los despliegues y el requisito de acceso a estados ocultos (haciéndolo menos adecuado para APIs de caja cerrada sin interfaces expuestas). Sin embargo, el marco representa un paso significativo hacia el razonamiento de contexto largo eficiente y sin entrenamiento.