🤖 machine learning

Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

Este artículo establece que existe una acción suave en el espacio de parámetros que realiza la simetría de una función si y solo si la órbita tangente de la simetría se encuentra dentro de la imagen de las sensibilidades funcionales de la red, proporcionando un marco para identificar direcciones locales de parámetros que siguen la órbita de simetría o descienden hacia el subespacio de equivariancia en redes entrenadas.

Autores originales: Alan Muriithi, Vedanta Thapar, Torben Berndt

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alan Muriithi, Vedanta Thapar, Torben Berndt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto paisaje de la inteligencia artificial moderna, las redes neuronales suelen tratarse como cajas negras: sistemas complejos que reciben datos y producen respuestas, pero que ofrecen poca información sobre cómo llegan a esas conclusiones. Estos sistemas están construidos a partir de capas de conexiones matemáticas, cada una de las cuales posee un valor numérico específico, o parámetro, que la máquina ajusta durante el entrenamiento. Una pregunta central para los científicos que estudian estos sistemas es si la estructura interna de una red entrenada refleja las reglas que gobiernan el mundo que ha aprendido. Si una red aprende una tarea que implica simetría —como reconocer que una forma se ve igual después de ser rotada—, ¿contiene realmente el cableado interno de la red un mecanismo que refleje esa rotación? Los investigadores han sospechado durante mucho tiempo que la respuesta es sí, pero demostrar exactamente qué partes de la red son responsables de este comportamiento ha sido una tarea esquiva. Esta incertidumbre es importante porque comprender la geometría interna de estos modelos podría revelar cómo generalizan el conocimiento y si realmente comprenden las leyes físicas que se les entrena para imitar.

Un equipo de investigadores de la Universidad de Oxford y del Instituto de Estudios Teóricos de Heidelberg ha desarrollado una nueva forma de mirar dentro de estas redes, yendo más allá de la simple estadística para examinar la geometría local precisa de cómo los parámetros influyen en la salida de una red. Se centraron en un concepto que llaman sensibilidad funcional, que mide cuánto cambia la respuesta final de una red cuando se altera ligeramente un único número interno. Al mapear estos cambios diminutos, los investigadores crearon una imagen detallada de las direcciones en las que la red puede mover su salida. Se plantearon una pregunta específica: si una red ha aprendido una función con una simetría conocida, ¿puede esa simetría rastrearse hasta un movimiento específico dentro de los parámetros de la red? En otras palabras, ¿existe un camino a través de la configuración interna de la red que corresponda exactamente a rotar o desplazar la función que realiza?

Los investigadores formularon esto como un problema de elevación (lifting problem), preguntando si las transformaciones suaves observadas en la salida final pueden "elevarse" de vuelta a una transformación suave en la configuración interna de la red. Descubrieron que, para que tal movimiento exista, las direcciones en las que la función puede cambiar debido a la simetría deben ser alcanzables por los parámetros actuales de la red. Si la configuración interna de la red es demasiado rígida o está mal alineada, la simetría en la salida no puede realizarse plenamente mediante el movimiento de los parámetros. Para probar esto, el equipo desarrolló un método para calcular la mejor dirección posible para mover los parámetros, ya sea para seguir una simetría o para corregir una falta de simetría. Identificaron dos caminos distintos: uno que mueve la red a lo largo de la órbita de simetría, rotando efectivamente la función aprendida sin cambiar su naturaleza fundamental, y otro que mueve la red hacia un estado de simetría perfecta, reduciendo cualquier error donde la función no respeta la simetría.

Para ver si estas direcciones teóricas funcionaban en la práctica, los investigadores entrenaron redes neuronales en dos tareas diferentes. Primero, utilizaron un clasificador de imágenes simple diseñado para distinguir entre un círculo completo y una porción en forma de cuña. Luego aplicaron las direcciones calculadas a la red entrenada. Cuando movieron los parámetros de la red a lo largo de la trayectoria de simetría, la frontera de decisión de la red rotó exactamente como se predijo, preservando su precisión mientras cambiaba su orientación. Cuando movieron los parámetros a lo largo de la trayectoria hacia la simetría, la salida de la red se volvió más consistente con las reglas de rotación, reduciendo el error en su comportamiento. Crucialmente, descubrieron que estas direcciones solo funcionaban de manera fiable cuando se recalculaban en cada paso del movimiento. Si calculaban la dirección una sola vez al principio y la mantenían fija, la red rápidamente se desviaba del curso, fallando en mantener la simetría o la corrección. Esto demostró que la relación entre los parámetros y la simetría es altamente local y cambia a medida que la red se mueve.

El equipo repitió este proceso con un sistema más complejo diseñado para aprender la física de un potencial rotatorio, conocido como un sistema hamiltoniano. Aunque la arquitectura de la red no la obligaba explícitamente a respetar la simetría rotacional, la red entrenada aprendió la física subyacente. Cuando los investigadores aplicaron su método aquí, observaron el mismo patrón: recalcular la dirección en cada paso permitía a la red rotar su potencial aprendido o hacerlo más simétrico, mientras que mantener la dirección fija provocaba un alejamiento gradual del comportamiento correcto. El estudio demuestra que, si bien las redes neuronales pueden aprender a codificar simetrías, los parámetros específicos responsables de este comportamiento no son estáticos. La capacidad de rastrear estas simetrías hasta la estructura interna de la red depende de la reevaluación constante de la geometría local de los parámetros. Los hallazgos sugieren que la representación interna de la simetría es una característica dinámica, una que requiere un ajuste continuo para permanecer alineada con las reglas matemáticas que la red ha aprendido a seguir.

Resumen Técnico: Atribución de Simetría a Nivel de Parámetro en Redes Entrenadas

Planteamiento del Problema
El artículo aborda una pregunta fundamental en el estudio de clases de funciones parametrizadas: cuando una red neuronal ha aprendido una función que posee una simetría conocida, ¿puede dicha simetría ser "elevada" (lifted) a través de la parametrización de la red? Específicamente, los autores investigan si existe un movimiento en el espacio de parámetros que realice una acción de grupo en el espacio de funciones. Si bien el levantamiento global (una acción suave sobre todo el manifold de parámetros) puede no existir siempre, el artículo se centra en el problema del levantamiento infinitesimal: determinar si el espacio tangente de la órbita de simetría de una función reside dentro de la imagen del diferencial del mapa de realización de la red. Si esta condición se cumple, la red puede moverse localmente a lo largo de la dirección de simetría mediante actualizaciones de parámetros.

Metodología
Los autores introducen un marco basado en la sensibilidad funcional, definida como la respuesta local de la salida de la red ante perturbaciones en los parámetros individuales.

Sensibilidad Funcional: Para una red $f_\theta$ parametrizada por $\theta$ , la sensibilidad funcional puntual del $i$ -ésimo parámetro es $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ . La sensibilidad agregada $S_i(\theta)$ es la raíz cuadrática media de estas sensibilidades sobre una distribución de prueba.
Criterio de Levantamiento Diferencial: El artículo formula el problema del levantamiento utilizando el mapa de realización $\Phi: \Theta \to \mathcal{B}$ , donde $\mathcal{B}$ es el espacio de funciones. El diferencial $J_\theta = d\Phi_\theta$ mapea las velocidades de los parámetros a variaciones en el espacio de funciones. Las columnas de $J_\theta$ corresponden a las sensibilidades funcionales. Una condición necesaria para levantar un generador de simetría $\xi$ es que la dirección inducida en el espacio de funciones $\eta_\xi$ se encuentre dentro de la imagen de $J_\theta$ (es decir, $\text{Im}(J_\theta)$ ).
Relajación de Mínimos Cuadrados: Dado que el levantamiento exacto a menudo es imposible en redes sobreparametrizadas o imperfectamente entrenadas, los autores proponen un enfoque de mínimos cuadrados para encontrar la mejor dirección de parámetros local. Esto produce dos direcciones distintas:
1. Dirección de la Órbita de Simetría ( $c^\star$ ): La dirección de parámetros de norma mínima que aproxima el movimiento a lo largo de la órbita de simetría ( $\eta_\xi$ ). El residuo mide la componente de la dirección de simetría inaccesible para la parametrización actual.
2. Dirección del Defecto de Equivarianza ( $b^\star$ ): La dirección de parámetros de norma mínima que mueve la función hacia el subespacio equivariante (reduciendo el "defecto de equivariancia" $\delta_\theta = f_\theta - P_E f_\theta$ ).
Atribución: Los coeficientes de estas soluciones de mínimos cuadrados proporcionan una atribución por parámetro de los generadores de simetría, identificando qué pesos y sesgos específicos contribuyen a la simetría o a la falta de ella.

Contribuciones Clave

Marco de Sensibilidad Funcional: Los autores definen un marco diferencial a nivel de parámetro que relaciona los parámetros individuales con las variaciones locales del mapa aprendido, desplazando el enfoque de las correlaciones estadísticas en el espacio de parámetros (como en el trabajo previo de Maiti et al.) hacia la geometría diferencial local del mapa aprendido.
Proyección de Generadores de Simetría: Desarrollan un método para proyectar generadores de simetría infinitesimales sobre el espacio tangente de los parámetros, obteniendo atribuciones por parámetro y un diagnóstico de la equivariancia.
Validación Empírica: Comparan empíricamente estas cantidades en dos entornos: un clasificador rotacionalmente invariante y Redes Neuronales Hamiltonianas (HNN) entrenadas sobre un potencial con simetría rotacional.

Resultados Experimentales
Los autores evalúan si las direcciones locales de parámetros computadas inducen los cambios finitos previstos en el espacio de funciones.

Clasificador de Anillo: Se probó un MLP entrenado para distinguir un disco interno de un anillo exterior. El estudio comparó trayectorias "Resueltas" (recalculando el Jacobiano y la dirección en cada paso) con trayectorias "Fijas" (usando la dirección computada en la inicialización).
- Trayectorias Resueltas: El flujo dirigido por la simetría ( $c^\star$ ) logró mover la función a lo largo de su órbita de simetría rotacional preservando la distancia desde el subespacio equivariante. El flujo dirigido por la equivariancia ( $b^\star$ ) logró reducir la componente no invariante (defecto de equivariancia).
- Trayectorias Fijas: Las direcciones mantenidas fijas se desviaron sustancialmente de las órbitas predichas tras el entrenamiento, resaltando la necesidad de recomputar las direcciones para trayectorias finitas.
Redes Neuronales Hamiltonianas: Utilizando Redes Neuronales Recurrentes Simplécticas Adaptables (ASRNNs) entrenadas sobre un potencial de "sombrero mexicano", los autores observaron resultados similares. Recomputar las direcciones permitió a la red rotar efectivamente el potencial (flujo de simetría) o hacer que el potencial aprendido fuera "más" equivariante (flujo de equivariancia). Las direcciones fijas mostraron un éxito inicial pero acumularon deriva (drift) con el tiempo.
Independencia de la Arquitectura: Notablemente, estos resultados se mantuvieron incluso para redes Hamiltonianas donde la arquitectura no imponía explícitamente la simetría, demostrando que el método puede identificar la codificación de simetría en arquitecturas estándar.

Significado y Reivindicaciones
El artículo sostiene que la sensibilidad funcional proporciona una herramienta rigurosa para identificar los parámetros específicos que codifican las simetrías en un mapa aprendido. Al formular el problema como una tarea de levantamiento (lifting), los autores establecen una condición necesaria y suficiente para el levantamiento puntual de primer orden. La importancia radica en la capacidad de:

Diagnosticar el "defecto de equivariancia" de una red entrenada.
Identificar direcciones ortogonales en el espacio de parámetros que corresponden a moverse a lo largo de una órbita de simetría frente a moverse hacia el subespacio equivariante.
Demostrar que, si bien el levantamiento local es fiable, el levantamiento global requiere la recomputación continua de estas direcciones, ya que las direcciones fijas fallan al seguir la órbita en trayectorias finitas.

El trabajo no pretende imponer simetrías durante el entrenamiento, sino que proporciona un método de diagnóstico y atribución post-hoc para comprender cómo se representan las simetrías en el espacio de parámetros de las redes entrenadas.

Resumen Técnico: Atribución de Simetría a Nivel de Parámetro en Redes Entrenadas

Más como este