Resumen Técnico: El Campo de Propagación: Una Teoría de Sustrato Geométrico del Aprendizaje Profundo

1. Planteamiento del Problema

El aprendizaje profundo moderno trata principalmente las redes neuronales como funciones de punto final que mapean entradas a salidas, optimizadas mediante pérdidas específicas de la tarea (LeCun et al., 2015). Aunque este enfoque ha impulsado éxitos significativos, los mecanismos internos de la propagación de la información permanecen poco comprendidos. El entrenamiento estándar restringe el comportamiento de los límites (mapeo entrada-salida), pero deja la geometría de las representaciones por capas y las trayectorias de los estados internos subdeterminadas. Esta brecha se manifiesta en problemas que van desde la robustez ante ejemplos adversarios (Szegedy et al., 2013) y el aprendizaje en contexto (Brown et al., 2020) hasta el olvido catastrófico en el aprendizaje continuo (Kirkpatrick et al., 2017).

El problema central abordado es que la supervisión de punto final no identifica de manera única el campo de propagación interno. Dos modelos pueden ser "equivalentes en el punto final" (logrando una pérdida de tarea casi idéntica) mientras poseen estructuras geométricas internas vastamente diferentes, incluidas las trayectorias de los estados ocultos y los operadores Jacobianos locales. En consecuencia, las leyes de escalado estándar caracterizan el escalado de la pérdida de punto final, pero no necesariamente el escalado de la calidad de la propagación interna.

2. Metodología: El Marco del Campo de Propagación

Los autores proponen una perspectiva de "Campo de Propagación", inspirada en el cambio de la mecánica basada en fuerzas a las teorías de campo geométricas en física (por ejemplo, la Relatividad General y la teoría de Yang-Mills). En lugar de ver las capas como pasos computacionales discretos, la red se visualiza como un campo definido por la colección de trayectorias de estados ocultos y operadores Jacobianos locales a lo largo de la profundidad.

2.1 Definiciones Centrales

• Campo de Propagación ($\Phi_\theta$): Definido como el conjunto de estados ocultos $\{h_0, \dots, h_L\}$ y Jacobianos locales $\{J_0, \dots, J_{L-1}\}$, donde $J_\ell = \partial h_{\ell+1} / \partial h_\ell$. Para modelos de flujo continuo, esto incluye la trayectoria $h(t)$ y el campo vectorial $f_\theta(h, t)$.
• Equivalencia de Punto Final: Dos modelos son equivalentes en el punto final si sus pérdidas de tarea difieren en menos de una tolerancia $\epsilon$. El artículo demuestra (Proposición 2.3) que la equivalencia de punto final no implica equivalencia de campo; los modelos pueden tener una precisión idéntica pero diferir en órdenes de magnitud en la estructura de trayectorias y Jacobianos.
• Distancia de Campo: Una métrica $d_{field}$ cuantifica la discrepancia entre las trayectorias de los estados ocultos y las estructuras Jacobianas de dos modelos.

2.2 Métricas Observables

Para hacer medible el campo de propagación, los autores introducen métricas de geometría discreta computables en redes estándar:

• Longitud de la Trayectoria: Desplazamiento total de la representación a lo largo de la profundidad.
• Curvatura Discreta: Un proxy para la curvatura de la trayectoria oculta.
• Alineación de Velocidad: La consistencia de la dirección de propagación a través de las capas.
• Sensibilidad de la Trayectoria: La varianza en los estados ocultos o salidas cuando la misma entrada se presenta a través de diferentes rutas de observación (por ejemplo, diferentes órdenes de parches o ventanas temporales).
• Consistencia del Solucionador: La estabilidad de los estados terminales cuando el mismo campo subyacente se discretiza con diferentes tamaños de paso o solucionadores numéricos.
• Puntuaciones de Retención (FRS/JRS): En el aprendizaje continuo, métricas que miden la deriva de las trayectorias ocultas (FRS) y los Jacobianos locales (JRS) entre modelos antiguos y nuevos.

2.3 Objetivos de Optimización

El artículo introduce Objetivos Conscientes del Campo para regularizar la geometría interna:

• Consistencia Multi-trayectoria ($L_{reveal}$): Minimiza las diferencias en los estados ocultos/logits a través de diferentes rutas de observación.
• Consistencia del Solucionador ($L_{solver}$): Asegura que los estados terminales permanezcan consistentes bajo diferentes discretizaciones numéricas.
• Suavidad Jacobiana ($L_{jac}$): Regulariza la suavidad de los operadores de propagación locales.
• Regularización de Preservación del Campo (FPR): En el aprendizaje continuo, el FPR añade restricciones para preservar las trayectorias ocultas y los campos Jacobianos de tareas anteriores, complementando la repetición estándar o la destilación.

3. Contribuciones Clave y Resultados Experimentales

El artículo proporciona evidencia empírica en sistemas controlados, tareas del mundo real y configuraciones de aprendizaje continuo.

3.1 Sistemas Controlados (Flujo del Profesor & EDPs)

• Subdeterminación: En experimentos de flujo del profesor, modelos con una precisión de punto final idéntica (0.9975) exhibieron errores de recuperación de trayectoria que diferían en 58.7 veces (3.52 vs. 0.06) cuando se aplicó supervisión de campo.
• Recuperación de Leyes: En tareas de extrapolación de EDPs, el ajuste estándar de punto final falló en recuperar la ley de propagación subyacente (MSE = 1.217 en $T=2.0$), mientras que los modelos de campo estilo generador lograron un error significativamente menor (MSE = 0.195) y preservaron la evolución de la energía.
• Conclusión: El ajuste de punto final identifica una clase de equivalencia conductual pero falla en recuperar la ley de propagación subyacente.

3.2 Tareas Reales Multi-trayectoria

• Alineación de Tareas: Los objetivos conscientes del campo mejoran la generalización (precisión OOD, precisión de ruta no vista) y la calibración solo cuando están alineados con la estructura de la tarea.
  • Éxito: En Tiny-ImageNet, el objetivo completo consciente del campo mejoró la precisión (0.097 $\to$ 0.118), la precisión OOD y la calibración, al tiempo que reducía la sensibilidad de la trayectoria.
  • Fallo (Colapso): En CIFAR-100, imponer consistencia de campo redujo la sensibilidad de la trayectoria pero causó colapso del campo, degradando la precisión de 0.0405 a 0.0093. Esto demuestra que una baja sensibilidad de la trayectoria no es suficiente para el rendimiento discriminativo; el campo debe retener suficiente riqueza direccional.
• Compensaciones de Optimización: El análisis de gradientes revela conflictos entre objetivos de tarea y de campo (hasta un 36% de fracciones de gradiente negativo). La retropropagación estándar no encuentra automáticamente la compensación óptima tarea-campo; se requieren algoritmos especializados (por ejemplo, LocalFieldMatch) para navegar la frontera de Pareto.

3.3 Aprendizaje Continuo

• Retención de Campo vs. Función: En Split CIFAR-100, la Regularización de Preservación de Campo (FPR) independiente preservó con éxito las métricas de campo interno (JRS = 0.033) pero falló en mantener la precisión de punto final (AA = 0.037). Por el contrario, los métodos de repetición estándar (DER++) preservaron la precisión (AA = 0.135) pero permitieron la deriva del campo (JRS = 0.177).
• Complementariedad: Combinar FPR con DER++ (DER++ + FPR-Full) mejoró ambas dimensiones simultáneamente, aumentando la Precisión Promedio (0.125 $\to$ 0.136) y la Transferencia Inversa, al tiempo que reducía la deriva del campo. Esto sugiere que la retención de campo y la retención de función son objetivos complementarios, no redundantes.

4. Significado y Afirmaciones

El artículo afirma establecer la calidad del campo de propagación como una propiedad medible y entrenable de las redes neuronales que existe más allá del rendimiento de punto final.

• Cambio Teórico: Reencuadra el aprendizaje profundo de optimizar un mapa estático entrada-salida a gestionar un sustrato geométrico interno dinámico.
• Identificabilidad: Demuestra que la supervisión de punto final es insuficiente para determinar de manera única el campo de propagación interno, haciendo necesarios objetivos explícitos conscientes del campo para tareas que involucran dependencia de la ruta o procesos de largo horizonte.
• Utilidad Práctica: Los objetivos conscientes del campo pueden mejorar la robustez y la generalización en regímenes específicos (por ejemplo, tareas multi-trayectoria), pero requieren un equilibrio cuidadoso para evitar el "colapso del campo", donde la red optimiza la consistencia geométrica a expensas del poder discriminativo.
• Aprendizaje Continuo: Propone que el olvido ocurre a nivel de campo (reescritura de las leyes de propagación internas) y que preservar esta geometría complementa las estrategias tradicionales de retención a nivel de función.

Los autores concluyen con un "principio direccional tipo Kakeya": los campos de propagación útiles deben reducir la sensibilidad de ruta espuria mientras preservan suficiente riqueza direccional para la discriminación. Este trabajo sugiere que la investigación futura en aprendizaje profundo debe medir y optimizar explícitamente la geometría de la propagación interna, no solo la salida final.