Resumen Técnico: Cuándo Re-planificar: Persistencia de Subobjetivos en el Razonamiento Jerárquico Latente

Planteamiento del Problema

El razonamiento de largo horizonte requiere que un sistema equilibre la estabilidad (comprometerse con una intención de mediano horizonte) con la adaptabilidad (revisar esa intención cuando sea necesario). En el razonamiento externalizado (por ejemplo, Cadena de Pensamiento o Chain-of-Thought), cada token compromete implícitamente al sistema con un camino específico. Sin embargo, en las arquitecturas de razonamiento latente (donde la computación ocurre dentro de los estados ocultos en lugar de en trazas de tokens), no se fuerza tal compromiso explícito. Un razonador latente puede, teóricamente, revisar su intención de mediano horizonte en cada micro-paso o nunca hacerlo.

El problema central abordado es determinar la escala temporal óptima para la planificación en espacios latentes: ¿Cuánto tiempo debe un razonador latente comprometerse con una intención antes de revisarla? Los Modelos de Razonamiento Jerárquico (HRM) existentes acoplan bucles lentos y rápidos, pero carecen de una señal explícita para la intención de mediano horizonte, dependiendo únicamente de la dinámica recurrente emergente. Este artículo investiga si la introducción de una interfaz de tipo "feudal" entre gestor y trabajador con un periodo de persistencia de subobjetivo ($P$) controlable puede resolver el compromiso entre estabilidad y adaptabilidad.

Metodología

Los autores proponen el HRM con Subobjetivos Aumentados, una extensión del Modelo de Razonamiento Jerárquico (HRM) que operacionaliza la intención latente persistente a través de una arquitectura de gestor-trabajador.

Arquitectura y Mecanismo

1. Interfaz Gestor-Trabajador:

   • Gestor (Alto Nivel): Un módulo lento que se actualiza cada $T$ pasos de bajo nivel. Emite un vector de subobjetivo direccional normalizado $g_k$ cada $P$ pasos de bajo nivel.
   • Trabajador (Bajo Nivel): Un módulo rápido que realiza micro-pasos. Las actualizaciones de su estado oculto son sesgadas por el subobjetivo activo $g(t)$ mediante una proyección aprendida $V_L$.
   • Periodo de Persistencia ($P$): El hiperparámetro central. Define el número de pasos de bajo nivel que un subobjetivo permanece activo antes de ser revisado.
     • $P=1$: El subobjetivo se sobrescribe en cada paso (sin coherencia temporal).
     • $P>1$: El subobjetivo persiste, permitiendo al trabajador componer múltiples actualizaciones alrededor de una sola intención.

2. Emisión de Subobjetivos:

   • El gestor proyecta su estado $z^H$ a un vector direccional $\tilde{g}_k$, el cual se normaliza a longitud unitaria para codificar "hacia dónde moverse" en el espacio latente sin forzar un objetivo absoluto específico (lo cual sería frágil en dinámicas no estacionarias).
   • Una compuerta de compromiso escalar $\alpha_k$ modula opcionalmente la fuerza de la influencia basándose en la incertidumbre del gestor.

3. Objetivo de Entrenamiento:

   • La pérdida total combina el objetivo base del HRM ($L_{HRM}$) con una pérdida de alineación intrínseca ($L_{align}$):
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • Pérdida de Alineación: Una pérdida basada en el coseno que recompensa el desplazamiento neto del estado oculto del trabajador ($\Delta z^L_k$) durante la ventana de compromiso $P$ para alinearse con el subobjetivo emitido $g_k$.
   • Hiperparámetro $\lambda$: El peso de la pérdida de alineación, que controla el equilibrio entre el prior de alineación y el gradiente de la tarea.

Configuración Experimental

• Datasets: ARC-AGI y ConceptARC (específicamente arc-aug-1000 y ConceptARC-mini).
• Métricas: Métrica primaria es la Pérdida de LM a nivel de Token (entropía cruzada); métricas secundarias incluyen precisión y pérdida de alineación.
• Barridos (Sweeps):
  • Barrido de Persistencia: Variar $P$ (de 1 a 8) con $\lambda=0.05$ fijo.
  • Barrido de Peso de Alineación: Variar $\lambda$ (de 0.01 a 1.0) con $P=4$ fijo.
  • Estudio de Ablación: Un experimento controlado de tres celdas a $\lambda=0.10$ (más allá del óptimo) para aislar la fuente de interferencia.

Resultados Clave

1. La Persistencia del Subobjetivo es el Control Central

El estudio encuentra que la persistencia es necesaria, no opcional.

• Sub-compromiso ($P=1$): Cuando los subobjetivos se revisan en cada paso, el rendimiento cae significativamente (Pérdida LM 1.674) en comparación con la línea base sin subobjetivos (1.640). El mecanismo de inyección por sí solo, sin coherencia temporal, perjudica el rendimiento.
• Punto Óptimo (Sweet Spot) ($P \in [3, 6]$): El rendimiento mejora drásticamente en $P=3$ (Pérdida LM 1.544, una caída de 0.13 respecto a la línea base) y se mantiene robusto hasta $P=6$.
• Sobre-compromiso ($P=8$): El rendimiento decae solo gradualmente a medida que $P$ aumenta más allá del óptimo. Esto indica que el estancamiento (staleness) es un modo de fallo más suave que la inestabilidad; un subobjetivo ligeramente desactualizado aún proporciona consistencia direccional, mientras que un subobjetivo revisado instantáneamente no proporciona ninguna.
• Replicación: La configuración $P=3$ fue replicada en 5 semillas, obteniendo una pérdida de LM media de 1.595 (desviación estándar 0.045), confirmando que el resultado no es un artefacto de una sola semilla.

2. Óptimo Estrecho para el Peso de Alineación ($\lambda$)

• El peso de alineación exhibe un óptimo estrecho en $\lambda \approx 0.05$.
• En $\lambda = 0.10$, el rendimiento se acerca a la línea base, y en $\lambda \ge 0.20$, se degrada por debajo de la línea base.
• Esto sugiere que la pérdida de alineación funciona mejor como un prior de planificación ligero que moldea suavemente la dinámica del trabajador, en lugar de un constraint geométrico dominante que compita con el gradiente de la tarea.

3. Fuente de Interferencia (Estudio de Ablación)

En $\lambda = 0.10$ (pasado el óptimo), el mecanismo completo rinde por debajo de la línea base. Una ablación controlada aisló la causa:

• $A_{full}$ (Direcciones Aprendidas): Rinde por debajo de la línea base (+0.100 de pérdida LM).
• $E_{random}$ (Direcciones Aleatorias): Rinde casi idénticamente a la línea base (+0.003 de pérdida LM).
• Conclusión: La interferencia es impulsada específicamente por la estructura direccional aprendida, no por la capacidad arquitectónica o el término de pérdida auxiliar en sí mismo. Cuando el peso de alineación es demasiado alto, las direcciones aprendidas capturan la capacidad representacional que el trabajador usaría de otro modo para la tarea, atrayendo al trabajador hacia direcciones que sirven para la alineación pero no para el objetivo del LM.

Significado y Reivindicaciones

El artículo afirma identificar un principio de diseño fundamental para la planificación composicional en sistemas de razonamiento latente: la intención de mediano horizonte debe ser coherente a través de suficientes pasos de computación para que la estructura composicional pueda formarse.

• Principio de Diseño: Un mecanismo de subobjetivos sin persistencia ($P=1$) posee la forma arquitectónica de la composicionalidad (gestor, trabajador, vector de intención) pero carece de su función. No puede producir la estructura temporalmente extendida requerida para distinguir entre "planificar una secuencia de pasos" y "tomar un solo paso con señal adicional".
• Compromiso entre Estabilidad y Adaptabilidad: Los hallazgos cuantifican el compromiso, mostrando que los planificadores latentes requieren un horizonte de coherencia mínimo ($P \ge 3$) para organizar la computación, pero que el estancamiento (un $P$ largo) es más tolerable que la inestabilidad.
• Rol de la Alineación: La señal de alineación actúa como un prior suave. Es más efectiva cuando guía al trabajador sin anular los gradientes específicos de la tarea, como lo evidencia el óptimo estrecho en $\lambda \approx 0.05$.

Los autores enmarcan esto como una contribución al aprendizaje composicional, demostrando que los mensajes de intención de mediano horizonte, cuando se persisten correctamente, permiten el ensamblaje de actualizaciones de estados ocultos condicionadas por subobjetivos en una computación de largo horizonte. El trabajo es empíricamente modesto, señalando que las ganancias son relativas a la línea base y están restringidas a tareas tipo ARC, pero el compromiso identificado se presenta como una restricción generalizable para el razonamiento jerárquico latente.