Resumen Técnico: Los controles de dimensionalidad cuando la modularidad ayuda en el aprendizaje continuo

Declaración del problema

El aprendizaje continuo enfrenta el fundamental "dilema estabilidad-plasticidad": un sistema debe adquirir nuevo conocimiento (plasticidad) mientras preserva las representaciones previamente aprendidas (estabilidad). Esta tensión se ve exacerbada cuando las tareas comparten estructura, lo que crea un riesgo de interferencia donde el nuevo aprendizaje interrumpe el conocimiento previo. Aunque a menudo se proponen arquitecturas modulares para mitigar la interferencia mediante el aislamiento de las computaciones específicas de cada tarea, sigue sin estar claro cuándo los sesgos estructurales son funcionalmente beneficiosos frente a cuándo son redundantes. Específicamente, el artículo investiga si la utilidad de la modularidad depende del régimen representacional —las propiedades geométricas de las representaciones aprendidas, particularmente su dimensionalidad efectiva—.

Metodología

Paradigma experimental

El estudio utiliza un paradigma secuencial de transferencia-interferencia A–B–A (inspirado en Holton et al., 2026).

• Fase A1: La red aprende la Tarea A (mapear señales vegetales a posiciones de dial basadas en una regla estacional).
• Fase B: La red aprende la Tarea B con nuevos estímulos. La Tarea B comparte la misma estructura formal que A pero varía en la similitud de la regla: Igual (regla idéntica), Cercana (pequeño desplazamiento angular) o Lejana (gran desplazamiento angular).
• Fase A2: La red es retesteada en la Tarea A para medir la retención y la interferencia.

Arquitecturas

Se compararon dos arquitecturas recurrentes:

1. Línea base de red única: Una única población recurrente procesa todas las entradas con una lectura (readout) compartida.
2. Red modular particionada por tareas: Las entradas se dirigen a módulos recurrentes distintos ($M_A$ para la Tarea A, $M_B$ para la Tarea B) basándose en la identidad de la tarea. Las salidas de los módulos se concatenan y se procesan mediante una lectura compartida. Esto impone una separación estructural en el procesamiento recurrente pero mantiene el acoplamiento a nivel de salida.

Control de regímenes representacionales

Para manipular la dimensionalidad efectiva de las representaciones aprendidas sin cambiar la capacidad de la red, los autores variaron la escala de inicialización de los pesos ($\gamma$).

• Régimen de alta dimensionalidad ("perezoso"): Valores altos de $\gamma$ mantienen las representaciones cerca de la inicialización, lo que resulta en una alta dimensionalidad efectiva y códigos menos especializados.
• Régimen de baja dimensionalidad ("rico"): Valores bajos de $\gamma$ fuerzan las representaciones hacia variedades (manifolds) de menor dimensión, induciendo códigos estructurados y especializados.
• Métrica: La dimensionalidad efectiva se cuantificó como el número de componentes principales necesarios para explicar el 99% de la varianza en los estados ocultos.

Análisis

El rendimiento se midió mediante precisión angular, transferencia (mejora en la Tarea B basada en la Tarea A) e interferencia (desplazamiento del comportamiento de la Tarea A hacia las reglas de la Tarea B). La geometría representacional se analizó mediante el Análisis de Componentes Principales (PCA) para calcular la dimensionalidad efectiva, los ángulos principales entre los subespacios específicos de cada tarea y visualizaciones 3D de las trayectorias de las tareas.

Resultados clave

1. La modularidad es condicional a la dimensionalidad

El beneficio de la arquitectura modular no es universal, sino que está regulado por el régimen representacional:

• Régimen de alta dimensionalidad ("perezoso"): Tanto las redes únicas como las modulares lograron niveles comparables de precisión, transferencia e interferencia. La separación estructural explícita de la red modular no proporcionó ninguna ventaja significativa, ya que el espacio de alta dimensionalidad permitió a la red única codificar las tareas con una presión geométrica limitada.
• Régimen de baja dimensionalidad ("rico"): La modularidad se volvió decisiva. La red modular mantuvo una alta precisión en la Tarea A y una baja interferencia en todas las condiciones de similitud. En contraste, la red única sufrió una interferencia significativa, particularmente en la condición "Lejana", ya que luchó por reorganizar su espacio representacional restringido sin sobrescribir el conocimiento previo.

2. Emergencia de una geometría dependiente de la similitud

En el régimen de baja dimensionalidad, la red modular desarrolló una organización composicional y graduada de los subespacios representacionales que la red única no logró alcanzar:

• Tareas similares (Igual): Las representaciones permanecieron estrechamente alineadas (subespacios superpuestos).
• Tareas moderadamente disímiles (Cercana): Las representaciones ocuparon ángulos intermedios (separación parcial).
• Tareas disímiles (Lejana): Las representaciones se volvieron fuertemente ortogonales (subespacios separados).
  La red única exhibió una dependencia más débil y menos estructurada de la similitud de las tareas, con los subespacios permaneciendo más entrelazados independientemente de la distancia de la tarea.

3. Robustez de los hallazgos

Los estudios de ablación que variaron el tamaño del módulo y el enrutamiento de la entrada confirmaron que estos efectos son robustos a variaciones arquitectónicas moderadas. El hallazgo central —que la dimensionalidad gatilla el impacto funcional de la modularidad— se mantuvo en las distintas configuraciones.

Contribuciones clave

1. Identificación de una variable de control: El artículo identifica el régimen representacional inducido por la inicialización (que co-varía con la dimensionalidad) como el factor clave que determina cuándo la modularidad estructural es funcionalmente beneficiosa en el aprendizaje continuo.
2. Caracterización de la geometría composicional: Demuestra que, en regímenes restringidos (de baja dimensionalidad), las redes modulares desarrollan naturalmente una organización geométrica dependiente de la similitud (superposición $\to$ parcial $\to$ ortogonalidad) que permite la reutilización composicional mientras se minimiza la interferencia.
3. Reencuadre de los objetivos del aprendizaje continuo: Los hallazgos apoyan la visión del aprendizaje continuo no como una elección binaria entre "compartir" y "separar", sino como una asignación adaptativa de subespacios representacionales donde la geometría óptima depende de la similitud de las tareas.

Significado y afirmaciones

El artículo argumenta que la dimensionalidad representacional controla cuándo la modularidad ayuda. Los sesgos estructurales (como la modularidad) solo remodelan el comportamiento de aprendizaje y la geometría interna cuando el espacio representacional es lo suficientemente restringido como para que la geometría sea un factor vinculante. En regímenes "perezosos" de alta dimensionalidad, la red tiene suficientes grados de libertad para resolver tareas sin necesidad de una separación estructural explícita. Sin embargo, en regímenes "ricos" de baja dimensionalidad, la red se ve obligada a organizar las computaciones en subespacios distintos, momento en el cual la modularidad arquitectónica proporciona una ventaja crucial para gestionar el dilema estabilidad-plasticidad.

Los autores concluyen que un aprendizaje continuo composicional robusto requiere mecanismos que regulen dinámicamente tanto la dimensionalidad representacional como la organización de los subespacios en respuesta a las estructuras cambiantes de las tareas, en lugar de depender únicamente de la separación arquitectónica fija.

Nota: El artículo establece explícitamente limitaciones, incluyendo el uso de PCA como un proxy de la dimensionalidad intrínseca y la restricción a secuencias de tareas cortas y controladas, reconociendo que se necesita más trabajo para determinar si estos efectos se extienden a benchmarks de aprendizaje continuo más largos y heterogéneos.