Resumen Técnico: MoRe: Representaciones Modulares para el Aprendizaje Continuo de Representaciones Fundamentado en Datos Secuenciales

1. Definición del Problema

El artículo aborda el desafío del Aprendizaje Continuo (CL), específicamente el problema del olvido catastrófico cuando los modelos se adaptan a nuevos datos de forma secuencial. Los autores argumentan que los métodos existentes de CL (tanto supervisados como no supervisados) dependen en gran medida de estrategias heurísticas —como restricciones de parámetros, replay, destilación o aislamiento arquitectónico— para decidir qué preservar y qué actualizar. Estos enfoques a menudo tratan la decisión de "qué actualizar" como un problema a nivel de tarea o de parámetros, en lugar de un problema representacional.

El problema central identificado es que las tareas requieren representaciones distintas pero estructuradas que puedan actualizarse selectivamente sin perturbar el conocimiento existente. Sin embargo, los métodos actuales carecen de un criterio fundamentado en la estructura intrínseca de los datos para determinar qué partes de una representación deben reutilizarse frente a cuáles deben reemplazarse. El artículo postula que, para datos secuenciales, las dependencias con retardo temporal proporcionan una señal natural para descubrir la organización intrínseca de los datos, revelando cómo las representaciones fundamentales dan lugar a las específicas.

2. Metodología: Marco MoRe

Los autores proponen MoRe (Representaciones Modulares), un marco para el aprendizaje continuo de representaciones fundamentado. A diferencia de los métodos que asignan modularidad a nivel arquitectónico (por ejemplo, redes separadas por tarea), MoRe identifica la modularidad dentro de la representación misma.

2.1 Modelo Generativo y Suposiciones

MoRe asume que los datos son generados por un proceso jerárquico donde las variables latentes $Z_t$ se organizan en $d$ capas ($Z^1_t, \dots, Z^d_t$):

• Jerarquía: Las capas superiores codifican conocimiento fundamental y agnóstico al dominio (por ejemplo, principios físicos), mientras que las capas inferiores capturan información especializada y específica del dominio.
• Dependencias Unidireccionales con Retardo Temporal: Los efectos entre capas fluyen unidireccionalmente desde las capas fundamentales hacia las específicas con un retardo temporal (por ejemplo, $Z^i_t$ depende de $Z^j_{t-\tau}$ donde $j < i$). Las dependencias instantáneas entre capas están prohibidas.
• Dependencias Intra-capas: Las dependencias dentro de la misma capa son ilimitadas.

2.2 Garantías Teóricas (Identificabilidad)

Una contribución central es la demostración de que esta estructura generativa específica permite la identificabilidad del proceso latente:

• Teorema 1 (Identificabilidad de Variables Latentes): Bajo condiciones de densidad suave y variabilidad suficiente, las relaciones instantáneas aseguran que las variables latentes solo pueden mezclarse dentro de la misma capa, no entre capas.
• Teorema 2 (Identificabilidad del Orden Jerárquico): Los efectos cruzados entre capas unidireccionales y con retardo temporal restringen las permutaciones admisibles de las capas. La jerarquía es identificable hasta un "orden compatible" (un orden que no invierta los efectos reales con retardo temporal).
• Corolario 1: Combinando esto, el proceso latente completo es identificable hasta indeterminaciones dentro de la capa y un orden jerárquico compatible. Esto transforma los módulos de construcciones heurísticas en objetos bien definidos, permitiendo decisiones fundamentadas sobre la reutilización y la expansión.

2.3 Algoritmo de Adaptación

MoRe emplea un procedimiento de adaptación en dos fases para nuevos conjuntos de datos $D_k$:

1. Ajuste y Evaluación (Solo Inferencia):

   • Los nuevos datos se proyectan en el sistema de coordenadas existente utilizando el codificador anterior $f_{k-1}$.
   • Puntuación de Auto-consistencia: Cada módulo existente se puntúa ($a_j$) en función de si su estructura generativa asumida (autocorrelación temporal e independencia condicional de los residuos de otros módulos) se preserva en los nuevos datos.
   • Análisis de Residuos: El residuo de reconstrucción en el espacio de observación se analiza para identificar nuevas coordenadas candidatas ($V_{new}$) ortogonales a la base existente, poniendo de manifiesto la estructura faltante.

2. Actualización Selectiva:

   • Mecanismo de Puerta: Cada módulo (existente y nuevo candidato) se asocia con una puerta concreta dura ($g_j$). La puntuación de auto-consistencia $a_j$ inicializa la puerta previa (alta $a_j$ $\rightarrow$ logit positivo; baja $a_j$ $\rightarrow$ logit negativo).
   • Alineación: Una matriz de alineación aprendible $T$ (inicializada como identidad) permite pequeños ajustes de coordenadas a los módulos reutilizados sin un reentrenamiento completo.
   • Función de Objetivo: La pérdida combina el ajuste a los datos (verosimilitud de cambio de variables), un regularizador de alineación ($\|T - I\|_F^2$) y penalizaciones de dispersión sobre las puertas ($L_0$) y los nuevos bloques de transición ($J_{new}$).
   • Compromiso: Al final del entrenamiento, las puertas se binarizan. Los módulos con $g_j=0$ se desactivan (pero se retienen en la biblioteca), y los nuevos módulos con $g_j=1$ se añaden.

3. Contribuciones Clave

1. Marco MoRe: Un método para descomponer las representaciones en una jerarquía de módulos fundamentales y específicos que refleja el proceso generador de datos en lugar de los límites de la tarea.
2. Garantías de Identificabilidad: Demostraciones teóricas que muestran que, bajo dependencias cruzadas entre capas con retardo temporal, la estructura modular jerárquica es identificable, proporcionando una base fundamentada para decidir qué módulos reutilizar o expandir.
3. Procedimiento de Adaptación: Un algoritmo en dos fases que interpreta los nuevos datos a través de módulos existentes, los puntúa por consistencia y los alinea, retiene o expande selectivamente utilizando puertas aprendibles.
4. Validación Empírica: Demostraciones en benchmarks sintéticos y datos de activación de Modelos de Lenguaje Grandes (LLM) del mundo real que muestran una estructura jerárquica interpretable y una mejora en los compromisos plasticidad-estabilidad.

4. Resultados Experimentales

4.1 Benchmarks Sintéticos

• Identificabilidad (S-RQ1): MoRe recuperó con éxito factores latentes en diversas dimensiones (hasta 128) y profundidades (hasta 4 capas) en configuraciones lineales y no lineales, logrando altos Coeficientes de Correlación Media (MCC > 0.9).
• Plasticidad-Estabilidad (S-RQ2): En escenarios de transición que involucran nuevos factores o factores faltantes, MoRe logró un olvido cercano a cero o negativo (mejorando la recuperación de factores antiguos) mientras mantenía una plasticidad comparable al ajuste fino. Los estudios de ablación confirmaron que la matriz de alineación $T$ es crítica para proteger las representaciones antiguas.
• Asignación de Factores (S-RQ3): MoRe enruteó correctamente los factores a módulos reutilizados o nuevos. En casos selectivos "difíciles" donde los factores antiguos y nuevos se superponían parcialmente, la precisión de las puertas bajó a 0.5, reflejando una ambigüedad inherente, pero requirió penalizaciones de dispersión tanto en las puertas antiguas como en las nuevas para funcionar correctamente.

4.2 Activaciones de LLM del Mundo Real

• Emergencia Jerárquica (RW-RQ1): Aplicado a activaciones de Pythia-1.4B y Gemma-2-9B en conjuntos de datos como ArXiv, AMPS y Wikipedia, MoRe descubrió una estructura "de lo general a lo específico".
  • Concentración de Conceptos: En el conjunto de datos AMPS (currículo de matemáticas), las capas inferiores ($L_0$) mostraron una mayor concentración de conceptos (especificidad a niveles de dificultad) que las capas superiores, alineándose con la jerarquía del currículo.
  • Enlaces entre Capas: Los enlaces extraídos de la matriz B mostraron transiciones desde conceptos fundamentales (por ejemplo, aritmética) hacia conceptos específicos (por ejemplo, álgebra lineal) en AMPS, y desde matemáticas abstractas hacia dominios aplicados en ArXiv.
• Eficiencia de Etiquetas (RW-RQ2): Los sondas lineales entrenadas sobre representaciones MoRe congeladas superaron a las líneas base de PCA en configuraciones de pocos ejemplos. Por ejemplo, MoRe logró un rendimiento equivalente al de PCA con 256 dimensiones utilizando solo 64 dimensiones de una sola capa y la mitad de los datos etiquetados.

5. Significado y Afirmaciones

El artículo afirma que el desafío central del aprendizaje continuo es representacional. Al fundamentar el proceso de adaptación en la estructura identificable de los datos (específicamente, las dependencias cruzadas entre capas con retardo temporal), MoRe ofrece una alternativa fundamentada al aislamiento heurístico basado en tareas o parámetros.

• Fundamento Fundamentado: El marco sugiere que la adaptación continua no debe estar impulsada por etiquetas de tarea, sino por la organización intrínseca de los datos, permitiendo la reutilización de bloques de construcción fundamentales mientras se expanden componentes específicos.
• Interpretabilidad: La jerarquía aprendida es interpretable, reflejando la transición de principios generales a aplicaciones específicas, como lo demuestra la alineación con jerarquías definidas por humanos en conjuntos de datos del mundo real.
• Eficiencia: El método demuestra que las representaciones ricas, una vez aprendidas, permiten una adaptación posterior eficiente en términos de etiquetas, requiriendo solo unas pocas muestras para ensamblar representaciones para nuevas tareas.

Los autores mantienen modestia respecto a las limitaciones, señalando que la implementación actual utiliza instancias lineales y que las suposiciones teóricas (retrasos unidireccionales, dispersión) pueden satisfacerse solo aproximadamente en la práctica. Ven este trabajo como un paso fundamental hacia un sistema completo de aprendizaje continuo, dejando la estabilidad a largo plazo y la escalabilidad no lineal para investigaciones futuras.