When Bias Meets Trainability: Connecting Theories of Initialization

Este trabajo demuestra teóricamente que la entrenabilidad óptima de las redes neuronales profundas está intrínsecamente ligada a un sesgo inicial hacia una clase específica, desafiando la noción de que las inicializaciones neutras son las más eficaces.

Lo esencial

¡Claro que sí! Imagina que entrenar una red neuronal es como enseñar a un grupo de 1000 estudiantes (los neuronas) a resolver un examen muy difícil. El problema es que, antes de que el profesor (el algoritmo de aprendizaje) empiece a darles las respuestas correctas, estos estudiantes ya tienen una "opinión" inicial sobre el tema.

Este paper, titulado "Cuando el sesgo se encuentra con la entrenabilidad", descubre algo contraintuitivo y fascinante sobre esa "opinión inicial".

Aquí tienes la explicación sencilla:

1. El problema: ¿Cómo empezar?

Imagina que tienes que configurar el "temperamento" inicial de tus estudiantes. Tienes dos opciones principales para ajustar sus pesos y sesgos (sus predisposiciones):

• Opción A (Neutro): Haces que todos los estudiantes sean completamente imparciales. Nadie cree en ninguna respuesta específica. Todos están en "modo cero".
• Opción B (Sesgado): Haces que los estudiantes tengan una opinión fuerte, aunque sea incorrecta. Por ejemplo, todos creen que la respuesta correcta es "A", incluso si no saben nada.

Durante años, los expertos pensaban que la Opción A (Neutro) era la mejor. Pensaban que empezar con una "pizarra limpia" era lo ideal para aprender rápido.

2. El descubrimiento: ¡El Sesgo es necesario!

Los autores de este paper (Alberto Bassi y su equipo) demostraron matemáticamente que la Opción A (Neutro) es en realidad un desastre para el aprendizaje.

• Si empiezas Neutro: Es como si los estudiantes estuvieran tan indecisos que, cuando el profesor intenta corregirlos, sus cerebros se bloquean. Las señales de corrección (los gradientes) se vuelven tan débiles que desaparecen antes de llegar al final de la clase. ¡Nadie aprende!
• Si empiezas Sesgado: Es como si los estudiantes tuvieran una "opinión fuerte" (aunque sea un prejuicio). Esto hace que las señales de corrección viajen con fuerza a través de toda la red.

La analogía de la montaña:
Imagina que el aprendizaje es bajar una montaña.

• Si empiezas Neutro, estás en un valle plano y nebuloso. No sabes hacia dónde ir y te quedas estancado.
• Si empiezas Sesgado, estás en una pendiente muy pronunciada. Aunque tu dirección inicial sea incorrecta (te estás desviando hacia un lado), la gravedad te hace rodar rápido. El profesor puede corregirte fácilmente porque te estás moviendo con energía.

3. El "Punto Mágico": El Borde del Caos

El paper identifica un punto exacto llamado Edge of Chaos (Borde del Caos).

• Si el sesgo es demasiado fuerte (Caos puro): Los estudiantes gritan sus respuestas incorrectas tan fuerte que el sistema se vuelve inestable y explota (los gradientes explotan).
• Si el sesgo es demasiado débil (Orden puro): Nadie dice nada, el sistema se congela (los gradientes desaparecen).
• El punto ideal: Es un estado de "Prejuicio Profundo Transitorio".

¿Qué significa esto?
Significa que la mejor configuración inicial es aquella donde la red tiene un sesgo muy fuerte (cree que todo es de una clase), pero que este sesgo es estable y puede ser "absorbido" o corregido rápidamente una vez que empieza a ver datos reales.

4. La gran conclusión: El prejuicio no es malo al principio

La idea central es: Para aprender bien, necesitas empezar con un prejuicio.

No es que la red sea "racista" o "tonta" de forma permanente. Es que, al inicio, necesita tener una "opinión" fuerte para que las señales de aprendizaje puedan viajar a través de las capas profundas de la red. Una vez que empieza el entrenamiento, la red es lo suficientemente inteligente para olvidar ese prejuicio inicial y aprender la verdad real de los datos.

Resumen con una metáfora final

Imagina que lanzas un cohete al espacio:

• Red Neutra: Lanzas el cohete sin combustible. Se cae al suelo inmediatamente.
• Red Sesgada (Caótica): Lanzas el cohete con el motor al 1000%. Se desintegra en el aire.
• Red en el "Borde del Caos" (La ganadora): Lanzas el cohete con el motor justo en el punto perfecto. Tiene una "inercia" inicial fuerte (un sesgo) que lo impulsa hacia arriba, pero es controlable. El sistema de navegación (el entrenamiento) luego ajusta la trayectoria para llegar a la órbita correcta.

En conclusión:
Este paper nos dice que no debemos tener miedo de que las redes neuronales tengan "prejuicios" al nacer. De hecho, ese prejuicio inicial es el motor que hace posible que aprendan. Si intentamos hacerlas perfectamente neutras desde el principio, simplemente no aprenderán nada.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "WHEN BIAS MEETS TRAINABILITY: CONNECTING THEORIES OF INITIALIZATION", publicado en ICLR 2026.

1. El Problema

El entrenamiento de Redes Neuronales Profundas (DNN) depende críticamente de la inicialización de sus parámetros (pesos y sesgos). Tradicionalmente, la Teoría de Campo Medio (MF, por sus siglas en inglés) ha sido el marco dominante para entender la "entrenabilidad" (trainability) en redes de ancho infinito. Esta teoría identifica dos fases principales basadas en la propagación de señales y gradientes:

• Fase Ordenada: Los gradientes se desvanecen (vanishing gradients), causando estancamiento del aprendizaje.
• Fase Caótica: Los gradientes explotan (exploding gradients), causando inestabilidad.
• Edge of Chaos (EOC): El límite óptimo entre ambas fases donde los gradientes son estables y la red es entrenable.

Sin embargo, investigaciones recientes han descubierto un fenómeno llamado Sesgo de Adivinación Inicial (IGB, Initial Guessing Bias). Este fenómeno describe cómo las redes no entrenadas pueden mostrar un "prejuicio" sistemático hacia ciertas clases de entrada antes de ver cualquier dato, asignando grandes regiones del espacio de entrada a una sola clase.

La brecha de conocimiento: Hasta ahora, no existía una conexión teórica clara entre la entrenabilidad (definida por la estabilidad de gradientes en la teoría MF) y el sesgo predictivo inicial (IGB). Se asumía intuitivamente que una inicialización óptima debía ser "neutral" (sin sesgo), pero esto no había sido probado teóricamente en relación con las fases de campo medio.

2. Metodología

Los autores proponen un marco unificado que conecta dos enfoques teóricos independientes:

1. Teoría de Campo Medio (MF): Analiza la propagación de señales fijando los datos y promediando sobre el conjunto de pesos aleatorios.
2. Marco IGB: Analiza la distribución de predicciones promediando sobre el conjunto de datos para una inicialización fija.

Desarrollo Teórico:

• Extensión del IGB: Los autores generalizan el marco IGB para incluir varianzas de sesgo no nulas ($\sigma_b^2 \neq 0$) y funciones de activación de múltiples nodos (como capas de pooling), corrigiendo imprecisiones en diagramas de fase anteriores (especialmente para ReLU).
• Teorema de Equivalencia (Teorema 3.1): Demuestran que, en el límite de ancho infinito, las cantidades de la teoría MF (varianza de señal $q_{aa}$ y covarianza de entrada $q_{ab}$) son equivalentes a las cantidades del marco IGB (varianza de los centros de activación $\sigma_\mu^2$ y varianza de la señal $\sigma_y^2$).
  • Establecen la relación: $c_{ab} = \frac{\gamma}{1+\gamma}$, donde $c_{ab}$ es el coeficiente de correlación de MF y $\gamma$ es la relación de deriva de activación en IGB.
• Análisis de Fases: Utilizan esta equivalencia para mapear las fases de entrenabilidad (ordenado, caótico, EOC) directamente a estados de prejuicio (neutro, prejuicio profundo persistente, prejuicio profundo transitorio).

3. Contribuciones Clave

1. Conexión Teórica: Proban que la condición óptima de entrenabilidad (EOC) no corresponde a un estado neutral, sino a un estado de "prejuicio profundo transitorio". Es decir, la red comienza con un fuerte sesgo hacia una clase, pero este sesgo es absorbido rápidamente durante el aprendizaje dinámico.
2. Refutación de la Neutralidad Óptima: Desafían la intuición previa (Francazi et al., 2024) de que las inicializaciones neutrales son las mejores. Demuestran que los estados neutrales a menudo caen en regímenes de gradientes desvanecidos o inestables, dificultando el aprendizaje.
3. Generalización de Activaciones: Corregen el entendimiento de las redes con activación ReLU. Muestran que, para ReLU, el coeficiente de correlación siempre converge a 1 (prejuicio profundo) en todo el diagrama de fase, pero la dinámica de los gradientes (desvanecimiento vs. explosión) sigue dependiendo de la varianza de los pesos.
4. Gradientes Dependientes de la Clase: Revelan que en la fase caótica con activaciones no acotadas (como ReLU), la explosión de gradientes no es uniforme; afecta desproporcionadamente a las clases "favoritas" (donde el sesgo es fuerte) frente a las desfavorecidas, creando un desequilibrio severo en el aprendizaje.

4. Resultados Principales

• Diagramas de Fase Unificados: Los autores construyen diagramas de fase que muestran que el EOC (la línea roja en sus figuras) coincide exactamente con la región de "prejuicio profundo transitorio".
  • Fase Ordenada: Prejuicio profundo persistente (gradientes desvanecidos). El sesgo inicial nunca se corrige.
  • Fase Caótica: Puede ser prejuiciosa o neutral, pero los gradientes explotan, impidiendo el aprendizaje.
  • EOC (Óptimo): Prejuicio profundo transitorio. La red empieza sesgada, pero los gradientes estables permiten que el modelo "reabsorba" este sesgo rápidamente al inicio del entrenamiento.
• Validación Empírica:
  • Entrenaron arquitecturas (MLP, Residual MLP, Vision Transformer) en tareas binarias y multiclase (Fashion MNIST, CIFAR-10/100).
  • Los resultados muestran que los modelos configurados en el EOC (con alto sesgo inicial) alcanzan la mayor precisión y la dinámica de aprendizaje más rápida.
  • Los modelos en estado "neutral" (bajo sesgo) mostraron un rendimiento pobre y una convergencia lenta o nula.
• Impacto de la Escala de Pesos: En experimentos de fine-tuning en un Vision Transformer grande pre-entrenado, demostraron que reducir ligeramente los pesos (moviéndolos hacia el EOC) mejora la capacidad de absorción de sesgos y el rendimiento, mientras que aumentarlos (moviéndolos a la fase caótica) o reducirlos demasiado (fase ordenada) degrada el entrenamiento.

5. Significado e Implicaciones

Este trabajo cambia fundamentalmente la comprensión de cómo deben configurarse las redes neuronales profundas:

• Reinterpretación de la Inicialización: La "neutralidad" no es un objetivo deseable para la inicialización. Una inicialización óptima debe ser sesgada para garantizar que la red opere en el borde del caos, donde la señal y los gradientes son estables.
• Ajuste de Hiperparámetros: Sugiere que las pruebas de ajuste de hiperparámetros (HP tuning) deben ser lo suficientemente largas para permitir que la red absorba el sesgo inicial. Las pruebas cortas pueden favorecer erróneamente configuraciones que parecen neutrales pero que en realidad están en regímenes de aprendizaje ineficiente.
• Estabilidad de Gradientes por Clase: El hallazgo de que la explosión de gradientes es dependiente de la clase tiene implicaciones críticas para el uso de funciones de pérdida como Cross-Entropy. En fases caóticas, el modelo puede ignorar completamente ciertas clases porque sus gradientes son cero numéricamente debido a la saturación de la función softmax.
• Generalidad: La teoría es válida para arquitecturas amplias generales y se extiende a componentes modernos como capas de atención y pooling, proporcionando una herramienta teórica robusta para diseñar arquitecturas profundas sin necesidad de datos.

En resumen, el artículo establece que el sesgo y la entrenabilidad son dos caras de la misma moneda: la capacidad de una red para aprender está intrínsecamente ligada a su "prejuicio" inicial, y el punto óptimo de funcionamiento es aquel donde este prejuicio es fuerte pero dinámicamente transitorio.