Resumen Técnico: Representación de Hadamard: Andamiaje del Rendimiento en RL sin Modelo

Enunciado del Problema

Los agentes de aprendizaje por refuerzo profundo (RL) sufren una pérdida progresiva de capacidad representacional durante el entrenamiento. Esto se manifiesta de dos formas principales: los neuronas se vuelven inactivas (perdiendo plasticidad) y el colapso del rango efectivo (redundancia entre las neuronas supervivientes). Aunque existen remedios existentes como reinicios periódicos o arquitecturas especializadas, a menudo son específicos del algoritmo o del dominio.

Un modo de fallo crítico, poco analizado, involucra funciones de activación suaves, específicamente tanh. A diferencia del fenómeno de "ReLU moribunda", donde las neuronas inactivas emiten cero y se podan efectivamente, las neuronas tanh saturadas colapsan a constantes no nulas ($\pm 1$). Los autores demuestran que estas neuronas saturadas no solo dejan de aprender; corrompen activamente las capas aguas abajo al convertir sus pesos salientes en sesgos fijos e independientes de la entrada. Esta distorsión "silenciosa" degrada el rendimiento incluso cuando la cantidad de neuronas inactivas es menor que en las redes ReLU.

Metodología: Representación de Hadamard (HR)

Los autores proponen una modificación arquitectónica simple y de reemplazo directo llamada Representación de Hadamard (HR). En lugar de una capa oculta estándar $z(x) = f(Ax + b)$, HR la reemplaza por el producto elemento a elemento de dos ramas parametrizadas independientemente:

$$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$$

donde $f$ es la función de activación (por ejemplo, tanh o ReLU), y $(A_1, b_1)$ y $(A_2, b_2)$ son conjuntos independientes de pesos y sesgos.

HR opera a través de dos mecanismos complementarios:

1. Resistencia a la Saturación (Mecanismo 1):

   • Para tanh, una neurona se vuelve inactiva (saturada) solo si ambas ramas independientes se saturan simultáneamente. Asumiendo independencia, si la probabilidad de que una sola rama se sature es $p$, la probabilidad de colapso disminuye a $p^2$. Esto reduce significativamente la incidencia de neuronas tanh inactivas.
   • Por el contrario, para ReLU, la saturación (emisión de cero) ocurre si cualquiera de las ramas se satura. La probabilidad de colapso aumenta a $2p - p^2$. Por lo tanto, HR es beneficiosa para tanh pero perjudicial para ReLU en regímenes de alta inactividad.
   • Este mecanismo previene la "corrupción silenciosa" de las capas aguas abajo al asegurar que los gradientes no desaparezcan tan fácilmente y que las neuronas no se bloqueen en sesgos fijos.

2. Expresividad Multiplicativa (Mecanismo 2):

   • Independientemente de la inactividad, la estructura multiplicativa captura interacciones de segundo orden entre dos vistas de la entrada. Esto expande la clase de funciones en un ancho de capa fijo, aumentando el rango efectivo de las representaciones ocultas.
   • Este mecanismo proporciona beneficios incluso en regímenes donde las neuronas inactivas ya son raras (por ejemplo, en métodos de control continuo de última generación que utilizan LayerNorm), actuando como una fuente independiente de ganancia representacional.

Contribuciones Clave

• Identificación de un Modo de Fallo Único: El artículo identifica que las neuronas tanh saturadas son estrictamente más dañinas que las neuronas ReLU inactivas porque introducen sesgos fijos en lugar de ser podadas.
• Solución Arquitectónica (HR): Introducción de una capa multiplicativa ligera y simétrica que reduce cuadráticamente la probabilidad de colapso de tanh mientras aumenta el rango efectivo.
• Análisis de Mecanismos: Separación teórica y empírica de los beneficios de HR en "resistencia a la saturación" (dominante en configuraciones de alta inactividad) y "expresividad multiplicativa" (dominante en configuraciones de baja inactividad).
• Mejora Libre de Hiperparámetros: HR mejora el rendimiento en diversos algoritmos y dominios sin requerir ningún ajuste de hiperparámetros.

Resultados Experimentales

Los autores evaluaron HR en cinco algoritmos y tres dominios distintos:

1. Acción Discreta Basada en Píxeles (Atari):

   • DQN & PPO: En 8 juegos de Atari, HR aplicada a activaciones tanh redujo la fracción de neuronas inactivas en ~23% y aumentó el rango efectivo, lo que llevó a ganancias de rendimiento superiores al 10% sobre líneas base sólidas.
   • PQN: En una evaluación a gran escala de 51 juegos de Atari, HR con tanh mejoró las puntuaciones medianas normalizadas por humanos en más del 100% en comparación con tanh estándar, y cerró la brecha de rendimiento con ReLU mientras mantenía un rango efectivo más alto.
   • Comparación: HR superó a otros métodos de preservación de plasticidad como CReLU y ReDo.

2. Control Continuo Basado en Estado (HumanoidBench):

   • Utilizando SimbaV2 (un método de última generación con tasas de neuronas inactivas insignificantes), HR aún mejoró el rendimiento en un 18%. Esto confirma que el Mecanismo 2 (expresividad multiplicativa) impulsa las ganancias incluso cuando la inactividad no es el principal cuello de botella.

3. Control Continuo Visual (DMC-Visual):

   • Utilizando MR.Q en tareas visuales, HR mejoró el rendimiento en un 17%.
   • En entrenamiento extendido en tareas difíciles de Humanoid, MR.Q + HR igualó el rendimiento del método de última generación XQC, superando tanto a la línea base de MR.Q como a DrQ-v2.

Estudios de Ablación:

• Conteo de Parámetros: Los autores compararon HR contra líneas base "ensanchadas" con conteos de parámetros coincidentes. Ensanchar la red a menudo degradó el rendimiento (por ejemplo, -46% en DQN) o proporcionó ganancias mínimas, mientras que HR mejoró consistentemente los resultados. Esto descarta el conteo de parámetros como la única explicación de las mejoras.
• Apilamiento: Apilar múltiples bloques HR (2HR) no proporcionó ningún beneficio adicional sobre un solo bloque HR, lo que sugiere que la primera capa es suficiente para capturar las ganancias representacionales.

Significado y Afirmaciones

El artículo afirma que la Representación de Hadamard ofrece una solución universal a nivel de arquitectura para la pérdida de capacidad representacional en RL sin modelo. Su significado radica en:

• Universalidad: Mejora el rendimiento en algoritmos basados en valores (DQN), de gradiente de política (PPO) y vectorizados (PQN), así como en control continuo basado en estado y visual.
• Simplicidad: No requiere ajuste de hiperparámetros y puede integrarse en bases de código existentes como un reemplazo de capa directo.
• Perspectiva Teórica: Replantea la comprensión de las neuronas "inactivas", destacando que para activaciones suaves, la inactividad es una fuente activa de error (inyección de sesgo) en lugar de una poda pasiva.
• Potencial Futuro: Los autores sugieren que el potencial de las activaciones no lineales por tramos en RL ha sido subestimado y que HR abre nuevas vías para el diseño arquitectónico tanto en RL como en contextos más amplios de aprendizaje automático.

El trabajo concluye que, aunque HR es un cambio mínimo, aborda una limitación fundamental en la dinámica de entrenamiento del RL profundo, proporcionando ganancias consistentes donde otros métodos fallan o requieren adaptaciones específicas del dominio.