Resumen Técnico: El Equilibrio es la Inicialización

Planteamiento del Problema

Los Modelos de Equilibrio Profundo (DEQs) y las arquitecturas recurrentes implícitas prometen una computación adaptativa al input, donde los problemas más difíciles activan más iteraciones del solver, y el equilibrio resuelto codifica el resultado de una inferencia iterativa genuina. Se propone a menudo el uso de parametrizaciones con estructura física (por ejemplo, la dinámica port-Hamiltoniana) para asegurar dinámicas latentes estables y controladas por energía, adecuadas para dicha resolución implícita.

Este artículo investiga un modo de fallo específico en este paradigma: el Colapso de Identidad Perezoso (Lazy Identity Collapse). Los autores reportan que, en un DEQ port-Hamiltoniano con una inicialización aprendida, el equilibrio "resuelto" es numéricamente idéntico al punto de partida del solver. En consecuencia, la computación implícita es un no-op (operación nula) silencioso, que contribuye con cero a la precisión final y falla al no asignar esfuerzo computacional basado en la dificultad del problema.

Metodología

El estudio emplea un diseño experimental controlado y reproducible en dos tareas de razonamiento:

1. Entailment de ProofWriter: Implicación binaria sobre embeddings de DeBERTa congelados, estratificada por profundidad de la prueba.
2. Alcance de Grafos Verificado por BFS: Alcance de $k$-saltos sintéticos en grafos de 16 nodos, etiquetados mediante Búsqueda en Anchura (BFS) para proporcionar una señal de dificultad de verdad fundamental.

Arquitectura del Modelo:

• Dinámica: Una actualización de estilo Euler-simpléctica amortiguada y anclada sobre variables de espacio de fase $z=(q, p)$.
• Inicialización: Una red de alimentación hacia adelante (feed-forward) condicionada a un objetivo y aprendida, que mapea el contexto a un estado inicial $z_0$.
• Solver: La aceleración de Anderson (m=5, cap de 300 iteraciones) resuelve para el punto fijo $h^*$.
• Controles: Un baseline de MLP de dos capas entrenado con inputs idénticos sirve como control positivo para establecer el límite superior de rendimiento sin capas implícitas.

Protocolo de Diagnóstico:
Los autores introducen un protocolo de cuatro pruebas para auditar la computación implícita, yendo más allá de las métricas de precisión estándar:

1. Prueba de Sustitución (T1): Evadir el solver por completo alimentando el punto de inicio $z_0$ directamente al decodificador.
2. Sonda de Representación (T2): Entrenar un clasificador nuevo sobre la salida del equilibrio congelado $h^*$ para verificar si porta señal de la tarea.
3. Correlación Iteración-Dificultad (T3): Correlacionar los conteos de iteraciones del solver con la dificultad de la tarea de verdad fundamental.
4. Desplazamiento Forzado (T4): Iniciar el solver desde un punto desplazado durante la inferencia para probar si el campo vectorial aprendido contiene estructura fuera de la inicialización.

Resultados Clave

1. El Equilibrio es la Inicialización

A través de 19 ejecuciones de entrenamiento (18 en tareas de grafos, 5 en ProofWriter), el desplazamiento entre el equilibrio resuelto $h^*$ y el punto de inicio $z_0$ es numéricamente cero ($\approx 10^{-7}$).

• Evadir el Solver: Alimentar $z_0$ directamente al decodificador resulta en una pérdida de precisión de 0.00 puntos porcentuales (pp) en comparación con el pipeline completo en 18 de 19 ejecuciones.
• Irrelevancia del Anclaje: Eliminar el término de anclaje explícito (que atrae el estado hacia $z_0$) no cambia nada. El reentrenamiento con inicios desacoplados de ruido ($z_0 + \epsilon$) resulta en que el solver converja al inicio ruidoso, con el decodificador aprendiendo a ignorar el canal.

2. Dos Regímenes Degenerados

El documento identifica dos modos de fallo distintos:

• Colapso de Identidad Perezoso (Mayoría): El solver realiza un mapa de identidad casi perfecto. El equilibrio no porta ninguna señal de la tarea más allá de lo que copia del inicio. El decodificador depende enteramente de la vía de contexto directa.
• Explosión del Solver (Minoría): En una semilla de ProofWriter, el solver diverge ($\|h^* - z_0\| \approx 171$). El decodificador se co-adapta a este ruido de alta varianza. Poner a cero $h^*$ en este régimen mejora la precisión, confirmando que la "señal" era en realidad ruido derivado de la divergencia.

3. Fallo de las Ablaciones Estándar

Los autores demuestran que la "ablación de puesta a cero" estándar (establecer $h^* = 0$) está confundida.

• Poner a cero elimina tanto la computación como la vía de entrada (el punto de inicio $z_0$) si el decodificador depende de la copia de identidad.
• Esto conduce a caídas de precisión con dependencias extremas de la semilla (por ejemplo, una caída de +44 pp en una semilla, 0 en otra), sugiriendo falsamente que el DEQ es crítico en ocasiones.
• La Prueba de Sustitución (T1) aísla correctamente la computación, mostrando una brecha estable de 0.00 pp.

4. Inanición de Gradientes (Gradient Starvation)

El mecanismo que impulsa este colapso es la inanición de gradientes.

• Ambas tareas son resolubles mediante una vía de contexto directa (evidenciado por el hecho de que el baseline de MLP de dos capas iguala o supera al DEQ completo).
• Debido a que la pérdida puede minimizarse sin la capa implícita, el optimizador redirige los gradientes a través de la vía directa.
• La capa implícita no recibe incentivos para alejarse de la inicialización. En el pipeline de grafos, el inicializador está aislado de gradientes; en ProofWriter, el inicializador se entrena, pero la dinámica sobre este sigue siendo una identidad.

5. Los Conteos de Iteración Ignoran la Dificultad

Los conteos de iteración del solver muestran cero correlación ($r = 0.009$) con la dificultad de verdad fundamental (distancia BFS), indicando que el modelo no asigna la computación de forma adaptativa; el 99.9% de las resoluciones alcanzan el límite de iteraciones independientemente de la complejidad de la tarea.

Significado y Reivindicaciones

El documento no afirma que todos los DEQs o modelos con estructura física fallen. En su lugar, ofrece un resultado negativo, específico de diseño y de carácter cautelar con las siguientes implicaciones:

1. Fallo Silencioso: La telemetría estándar de entrenamiento (convergencia, precisión, iteraciones del solver) puede parecer saludable mientras la computación implícita es completamente no funcional.
2. La Prueba de Sustitución es Esencial: Los autores proponen la Prueba de Sustitución (T1) como un control obligatorio para cualquier artículo que afirme razonamiento implícito o recurrente. Si evadir el módulo no cambia nada, el módulo no está computando.
3. Incentivos de Gradiente > Arquitectura: El mero añadir un módulo iterativo o una estructura estabilizadora (como las restricciones port-Hamiltonianas) no garantiza la computación. Si una tarea es resoluble mediante un atajo (vía directa), el optimizador explotará ese atajo, convirtiendo el costoso camino iterativo en un óptimo estable de "no hacer nada".
4. Reproducibilidad: El estudio completo es totalmente reproducible; el código y los registros brutos han sido liberados. Todos los experimentos se ejecutaron en una única GPU gratuita de Colab, demostrando que se pueden establecer resultados negativos rigurosos de forma económica y rápida.

Los autores concluyen que, para la arquitectura específica estudiada (DEQ port-Hamiltoniano con inicialización aprendida), el equilibrio es simplemente la inicialización, y el sistema funciona como una "máquina de copiado cuidadosa" en lugar de un razonador.