🤖 machine learning

Sign-Symmetry Learning Rules are Robust Fine-Tuners

Este artículo demuestra que el ajuste fino de redes neuronales preentrenadas con retropropagación estándar utilizando reglas de aprendizaje de Simetría de Signo logra la paridad de rendimiento al tiempo que mejora significativamente la robustez del modelo, revitalizando así el potencial de los mecanismos de aprendizaje de inspiración biológica en el aprendizaje profundo.

Autores originales: Aymene Berriche, Mehdi Zakaria Adjal, Riyadh Baghdadi

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aymene Berriche, Mehdi Zakaria Adjal, Riyadh Baghdadi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a reconocer gatos, perros y coches. Durante décadas, el estándar de oro para entrenar estos cerebros digitales ha sido un método llamado "Backpropagation" (Propagación hacia atrás). Piensa en esto como un entrenador estricto y perfeccionista que observa cada movimiento del robot, calcula el error exacto hasta el más mínimo decimal y envía una señal de corrección precisa de vuelta a través de todo el sistema nervioso del robot. Funciona increíblemente bien, haciendo al robot inteligente y rápido. Sin embargo, este entrenador tiene una debilidad secreta: si alguien pone una mota de polvo diminuta, casi invisible, sobre la foto de un gato, el robot podría gritar de repente: "¡Es una tostadora!", porque los cálculos perfectos del entrenador son demasiado sensibles a ese pequeño truco. Esto se llama un "ataque adversarial" (ataque de adversario), y es un problema importante para confiar en la IA en el mundo real. Los científicos han intentado durante mucho tiempo encontrar una forma diferente de enseñar a los robots, una que imite cómo aprenden nuestros cerebros humanos reales, utilizando señales más toscas y biológicas en lugar de matemáticas perfectas. Pero estos métodos "biológicamente plausibles" solían hacer a los robots más tontos y lentos, por lo que la mayoría de la gente se rindió.

Un equipo de investigadores ha decidido probar un enfoque híbrido ingenioso. Se preguntaron: "¿Qué pasaría si usamos al entrenador estricto para enseñarle al robot lo básico, pero luego cambiamos al entrenador más tosco y biológico solo para el pulido final?". En su nuevo estudio, preentrenaron redes neuronales (el cerebro del robot) utilizando el método estándar y perfecto. Luego, en lugar de terminar el entrenamiento con el mismo entrenador estricto, utilizaron un conjunto de reglas llamadas "Sign-Symmetry" (Simetría de Signo). Estas reglas son como un entrenador al que solo le importa la dirección del error (arriba o abajo, izquierda o derecha), en lugar del tamaño exacto del error. No necesitan saber el peso preciso de cada conexión; solo necesitan saber hacia dónde dar el empujón. Los investigadores descubrieron que este pulido final más "tosco" no hizo que el robot fuera menos inteligente. De hecho, lo hizo increíblemente resistente. Cuando los atacantes intentaron engañar al robot con esas motas de polvo diminutas e invisibles, el robot que utilizaba las reglas de Sign-Symmetry apenas se inmutó, mientras que el robot entrenado enteramente con el estricto entrenador colapsó. Resulta que, al no obsesionarse tanto con la precisión perfecta, el robot se volvió mucho más difícil de engañar.

La historia del pulido tosco

Sumerjámonos en cómo funciona esto. Los investigadores partieron de la idea de que el estricto entrenador (Backpropagation) es excelente para construir una base sólida. Es como aprender a montar en bicicleta con rueditas de entrenamiento que te dan datos de equilibrio perfectos. Pero una vez que sabes montar, tal vez ya no necesites esos sensores perfectos. El equipo tomó modelos preentrenados —redes neuronales que ya habían aprendido a reconocer imágenes usando el método estándar— y les dieron una sesión de "ajuste fino" (fine-tuning) utilizando reglas de Sign-Symmetry.

Existen diferentes sabores de estas reglas, como uSF (Retroalimentación de Signo concordante Uniforme), frSF (Retroalimentación de Signo concordante de Magnitud Aleatoria Fija) y brSF (Retroalimentación de Signo concordante de Magnitud Aleatoria por Lotes). Puedes pensar en esto como diferentes formas de darle un empujón al robot. En lugar de decir: "Te desviaste 0.043 unidades a la izquierda", el entrenador de Sign-Symmetry simplemente dice: "¡Oye, te estás inclinando a la izquierda, empuja a la derecha!". Ignora los números exactos y se enfoca en el signo (positivo o negativo) del error.

El equipo probó esto en dos tareas principales: Clasificación de Imágenes (decirte qué hay en una foto) y Recuperación de Imágenes basada en Hashing (encontrar fotos similares en una base de datos gigante). Utilizaron cerebros robóticos populares como AlexNet, VGG-16 y ResNet-18, y los probaron en conjuntos de datos famosos como CIFAR-10, MS-COCO e ImageNet.

Los resultados fueron sorprendentes y emocionantes. En cuanto a ser inteligentes, los robots ajustados con Sign-Symmetry eran tan buenos como los entrenados enteramente con el estricto entrenador. ¡En algunos casos, incluso fueron mejores! Por ejemplo, en el conjunto de datos CIFAR-10 con un cerebro AlexNet, los métodos de Sign-Symmetry alcanzaron una precisión top-1 del 93.75%, superando al 90.62% del entrenador estándar. En el conjunto de datos ImageNet con un cerebro ResNet-18, igualaron la precisión del 87.5% del entrenador estándar. La idea clave aquí es que no pierdes inteligencia al cambiar al entrenador más tosco para los pasos finales.

Pero la verdadera magia ocurrió cuando probaron qué tan bien estos robots manejaban los problemas. Los investigadores lanzaron "ataques adversariales" contra ellos. Estos son como hackers digitales intentando engañar al robot añadiendo pequeñas cantidades de ruido a una imagen. Utilizaron dos tipos de ataques: FGSM y PGD. Estos son ataques de "caja blanca" (white-box), lo que significa que los hackers sabían exactamente cómo pensaba el robot y usaron ese conocimiento para diseñar el truco perfecto.

Cuando atacaron a los robots estándar (entrenados solo con Backpropagation), los robots se desmoronaron rápidamente. A medida que los hackers aumentaban el ruido (representado por un valor llamado $\epsilon$ ), la precisión de los robots estándar caía en picado. En el conjunto de datos ImageNet, cuando el nivel de ruido alcanzó 0.5, la precisión del robot estándar cayó casi a 0%. Fue completamente engañado.

Sin embargo, los robots que habían sido ajustados con Sign-Symmetry fueron como botas viejas y resistentes. No colapsaron. Incluso con el mismo ruido pesado, mantuvieron su precisión mucho mejor. En los experimentos de ResNet-18, la brecha entre el robot estándar y el robot de Sign-Symmetry fue masiva, a veces con una diferencia de precisión de hasta el 71.88%. La línea del robot estándar cayó como una piedra, mientras que la línea del robot de Sign-Symmetry bajó suavemente, como un tobogán. Esto sugiere que, debido a que las reglas de Sign-Symmetry no dependen de gradientes exactos y perfectos, los hackers no pueden calcular fácilmente el truco perfecto para engañarlos. Es como intentar abrir una cerradura cuando los mecanismos internos son ligeramente flojos y aleatorios; la llave perfecta ya no funciona.

El equipo también comprobó si estos robots eran vulnerables a ataques de "caja negra" (black-box), donde el hacker no sabe cómo piensa el robot y simplemente intenta trucos aleatorios. En estos casos, los robots de Sign-Symmetry funcionaron tan bien como los estándar. Este es un detalle crucial: significa que los robots no se volvieron más débiles en general; simplemente se volvieron específicamente más difíciles de engañar para los hackers que dependen de conocer su matemática interna.

Los investigadores también observaron la tarea de "hashing", que es como organizar una biblioteca convirtiendo las portadas de los libros en códigos cortos y únicos. Encontraron resultados similares aquí. Cuando fueron atacados con métodos como HAG y SDHA, los robots estándar vieron cómo su rendimiento (medido en Precisión Media Promedio, o mAP) se desplomaba. Por ejemplo, en ImageNet, el mAP del robot estándar cayó a alrededor del 12% con niveles altos de ruido, mientras que los robots de Sign-Symmetry se mantuvieron alrededor del 40%.

Uno de los hallazgos más interesantes fue que el método llamado frSF (Retroalimentación de Signo concordante de Magnitud Aleatoria Fija) pareció ser el más estable y eficiente de todos. Mantuvo consistentemente su posición a través de diferentes tipos de cerebros robóticos y conjuntos de datos.

Entonces, ¿qué significa todo esto? El artículo sugiere que no tenemos que elegir entre ser inteligentes y ser resistentes. Podemos tener ambos. Al usar al estricto y perfecto entrenador para construir la base y luego cambiar al entrenador más tosco y de estilo biológico para el toque final, obtenemos un robot que es tan inteligente como mucho más difícil de engañar. Los autores proponen que este enfoque de "Sign-Symmetry" podría ser una nueva forma de hacer que la IA sea más segura y confiable, especialmente en situaciones en las que no podemos permitirnos ser engañados. Admiten que se necesita más trabajo para ver cómo funciona esto en sistemas aún más grandes y complejos, pero los resultados iniciales son un fuerte indicio de que el estilo de aprendizaje tosco y accidentado de la naturaleza podría ser el ingrediente secreto que nos ha faltado para hacer que nuestros cerebros digitales sean verdaderamente robustos.

Resumen Técnico: Las reglas de aprendizaje de simetría de signo son ajustadores finos robustos

Planteamiento del problema
La retropropagación (BP) sigue siendo el método dominante para el entrenamiento de redes neuronales debido a su eficacia en el aprendizaje de representaciones. Sin embargo, la BP sufre dos limitaciones primordiales:

Implausibilidad biológica: La BP depende del "problema del transporte de pesos", que requiere que la pasada hacia atrás utilice la transpuesta exacta de las matrices de pesos de la pasada hacia adelante, un mecanismo que no se observa en los sistemas biológicos.
Vulnerabilidad adversaria: Los modelos entrenados mediante BP son altamente susceptibles a ataques adversarios basados en gradientes (por ejemplo, FGSM, PGD), donde perturbaciones de entrada sutiles e imperceptibles causan caídas significativas en la precisión.

Por el contrario, las reglas de aprendizaje biológicamente plausibles, como la Alineación de Retroalimentación (FA) y las variantes de Simetría de Signo (por ejemplo, uSF, frSF, brSF), abordan el problema del transporte de pesos utilizando matrices de retroalimentación fijas, aleatorias o basadas en el signo, en lugar de los pesos mismos. Históricamente, estos métodos han rendido por debajo de la BP en términos de precisión y exactitud, lo que ha provocado un declive en el interés de la investigación. El problema central abordado en este trabajo es la brecha de rendimiento entre la BP y los métodos biológicamente plausibles, y el potencial de aprovechar la robustez inherente de estos últimos sin sacrificar el rendimiento de la primera.

Metodología
Los autores proponen una estrategia de entrenamiento híbrida que integra las fortalezas de ambos paradigmas:

Preentrenamiento: Los esqueletos de redes neuronales (AlexNet, VGG-16, ResNet-18) se preentrenan en ImageNet utilizando la retropropagación estándar para establecer representaciones de características de alta calidad.
Ajuste fino (Fine-tuning): Los modelos preentrenados se ajustan posteriormente en tareas específicas de downstream (Clasificación de Imágenes y Recuperación de Imágenes basada en Hashing) utilizando reglas de aprendizaje de Simetría de Signo en lugar de BP.
- Variantes de Simetría de Signo: El estudio utiliza tres métodos específicos donde la pasada hacia atrás utiliza el signo de los pesos hacia adelante (potencialmente con magnitudes aleatorias) en lugar de los pesos mismos:
  - Retroalimentación de Signo concordante Uniforme (uSF): $V = \text{sign}(W^T)$
  - Retroalimentación de Signo concordante de Magnitud Aleatoria Fija (frSF): $V = M \circ \text{sign}(W^T)$ , donde $M$ es una matriz aleatoria fija.
  - Retroalimentación de Signo concordante de Magnitud Aleatoria por Lote (brSF): Similar a frSF, pero $M$ se vuelve a dibujar después de cada actualización de parámetros.
Configuración Experimental: El enfoque se evaluó a través de múltiples conjuntos de datos (CIFAR-10, MS-COCO, NUS-WIDE, ImageNet, ImageNet100) y arquitecturas. La robustez se probó contra ataques de caja blanca (FGSM, PGD para clasificación; HAG, SDHA para hashing) y ataques de caja negra (Boundary Attack, HopSkipJump Attack).

Contribuciones Clave

Nuevo Pipeline de Entrenamiento: El artículo introduce un método que combina el preentrenamiento por BP con el ajuste fino por Simetría de Signo, cerrando la brecha entre los métodos biológicamente plausibles y los pipelines de aprendizaje profundo estándar.
Robustez Mejorada: Los autores demuestran que este enfoque híbrido mejora significativamente la resistencia a los ataques adversarios basados en gradientes, manteniendo la paridad de rendimiento con el ajuste fino estándar por BP.
Validación de Caja Negra: El estudio valida que la ganancia de robustez es específica para los ataques basados en gradientes; el rendimiento contra ataques de caja negra permanece comparable a la BP, confirmando que el método no introduce inestabilidad o vulnerabilidad general.
Paridad de Rendimiento: Contrario a los hallazgos previos donde los métodos biológicamente plausibles quedaban rezagados, este trabajo muestra que los métodos de Simetría de Signo (particularmente uSF y frSF) pueden lograr resultados comparables a, o en algunos casos superiores a, la BP durante la fase de ajuste fino.

Resultados

Precisión: A través de varios esqueletos y conjuntos de datos, el ajuste fino de Simetría de Signo logró puntuaciones de precisión top-1 y de precisión media promedio (mAP) comparables a la BP. En varias configuraciones (por ejemplo, AlexNet en CIFAR-10 e ImageNet), los métodos de Simetría de Signo superaron a la BP.
Robustez Adversaria (Caja Blanca):
- Bajo ataques FGSM y PGD, los modelos de BP exhibieron caídas bruscas de precisión (por ejemplo, cayendo a casi 0% en $\epsilon=0.1$ para ResNet-18).
- Los modelos de Simetría de Signo mostraron un declive mucho más gradual en el rendimiento. Por ejemplo, en ImageNet bajo ataque PGD, la BP colapsó mientras que los métodos de Simetría de Signo retuvieron una precisión significativa.
- La brecha de robustez fue sustancial, con diferencias de precisión que alcanzaron hasta el 71.88% en ciertas configuraciones.
Robustez Adversaria (Caja Negra): Contra ataques basados en decisiones (Boundary Attack, HSJA), los modelos de Simetría de Signo funcionaron de manera similar a la BP, indicando que la robustez está específicamente ligada a la ofuscación de los gradientes exactos en lugar de un aumento general en la dificultad del modelo.
Especificidad de la Tarea: Las mejoras de robustez fueron consistentes tanto en las tareas de clasificación de imágenes como en las de recuperación de imágenes basada en hashing.

Significancia y Reivindicaciones
El artículo postula que las reglas de aprendizaje de Simetría de Signo actúan como "ajustadores finos robustos" efectivos. La significancia principal reside en el hallazgo de que los métodos biológicamente plausibles, previamente descartados debido a su menor precisión, pueden integrarse con éxito en los pipelines estándar para mejorar la seguridad del modelo sin comprometer la utilidad.

Los autores atribuyen esta robustez a la independencia de la computación de gradientes precisos. Al utilizar gradientes aproximados (matrices de signo) durante el ajuste fino, el método ofusca la información del gradiente exacto requerida por los atacantes de caja blanca para diseñar perturbaciones efectivas. El artículo concluye que esta estrategia híbrida ofrece una vía práctica para aprovechar las reglas de aprendizaje inspiradas en la biología para abordar las limitaciones de robustez de la retropropagación, sugiriendo que la investigación futura debería explorar las implicaciones más amplias de esta estrategia en otras propiedades y arquitecturas de redes neuronales.

La historia del pulido tosco

Más como este