Online Continual Learning with Dynamic Label Hierarchies

Resumen Técnico: Aprendizaje Continuo en Línea con Jerarquías de Etiquetas Dinámicas

Definición del Problema: DHOCL
Los métodos existentes de Aprendizaje Continuo en Línea (OCL) asumen predominantemente un espacio de etiquetas "plano" donde las categorías son independientes y semánticamente equidistantes. Esta suposición falla al capturar la organización jerárquica de los conceptos del mundo real (por ejemplo, la monitorización de la biodiversidad), la cual evoluciona tanto horizontalmente (nuevas clases hermanas) como verticalmente (refinamiento o abstracción de ramas existentes). Además, la supervisión del mundo real es a menudo parcial; un observador puede etiquetar una imagen como "Pájaro" (gruesa) o "Monarcha melanopsis" (de granularidad fina) dependiendo de su experiencia, sin proporcionar la línea taxonómica completa.

Para abordar esta brecha, los autores introducen el Aprendizaje Continuo en Línea Jerárquico Dinámico (DHOCL). A diferencia de trabajos anteriores de aprendizaje continuo jerárquico que imponen un currículo rígido y predefinido de "de grueso a fino", DHOCL permite que las instancias de datos lleguen con anotaciones en niveles jerárquicos arbitrarios en cualquier momento. La taxonomía no es fija; crece orgánicamente a medida que surgen nuevas clases, creando potencialmente estructuras de árbol desequilibradas e incompletas. El planteamiento presenta dos desafíos fundamentales:

1. Supervisión Parcial y Desacoplamiento Estructural: Cada muestra proporciona solo una señal "punto a punto" en una jerarquía "ruta a ruta". Esto restringe la plasticidad y evita la propagación de restricciones semánticas a través de las granularidades, lo que conduce a un espacio latente fragmentado donde las ramas taxonómicas se desacoplan estructuralmente.
2. Interferencia Inducida por la Granularidad: Diferentes profundidades taxonómicas exhiben tasas heterogéneas de aprendizaje y olvido. El aprendizaje de granularidad gruesa puede desestabilizar los matices de granularidad fina y viceversa. Los mecanismos existentes de replay y regularización, diseñados para espacios planos, no tienen en cuenta esta interacción, lo que conduce a una regularización sesgada y al olvido catastrófico.

Metodología: HALO
Los autores proponen HALO (Aprendizaje Adaptativo Jerárquico con Prototipos Organizados), un marco diseñado para equilibrar la adaptación rápida con la estabilidad a largo plazo mientras mantiene la consistencia jerárquica. HALO consta de dos componentes principales:

1. Regularización de Prototipos Jerárquicos (HPR):

   • HALO introduce un adaptador ligero que mapea las características de la red base a un espacio de prototipos. Para cada clase en cada nivel de la jerarquía, se mantiene un conjunto de prototipos aprendibles.
   • Alineación Estructural: Una pérdida de clasificación basada en márgenes impone que los pares de prototipos ascendente-descendiente sean más similares que los pares no relacionados, integrando explícitamente la estructura del árbol en evolución en el espacio de características.
   • Consistencia de la Saliencia Temporal: El método penaliza los cambios de respuesta en las ubicaciones más informativas (Top-K parches) entre el modelo actual y los prototipos almacenados del paso anterior. Esto asegura estabilidad para las semánticas gruesas mientras permite una deriva controlada para las nuevas actualizaciones de granularidad fina.
   • Estos prototipos actúan como "pegamento topológico", evitando el desacoplamiento de las ramas taxonómicas a medida que evoluciona la jerarquía.

2. Agregación Adaptativa Jerárquica (PredLA):

   • Para resolver el conflicto entre la necesidad de adaptación rápida (para nuevos nodos) y estabilidad (para conocimientos antiguos), PredLA emplea un conjunto adaptativo jerárquico de dos clasificadores complementarios en cada nivel:
     • Una Cabeza Lineal entrenada sobre características entrenables utilizando pérdida de entropía cruzada, optimizada para la adaptabilidad.
     • Una Cabeza Analítica (ACIL) entrenada sobre características congeladas utilizando Mínimos Cuadrados Recursivos (RLS), optimizada para la estabilidad y la resistencia al olvido.
   • Agregación: En lugar de fusionar a nivel de parámetros, PredLA agrega predicciones en el espacio de probabilidades. Utiliza escalado de temperatura y aprende pesos de agregación ($\alpha$) exclusivamente en muestras reproducidas mediante un objetivo de dos niveles. Esto permite que el sistema equilibre las predicciones lineales "plásticas" con las predicciones analíticas "estables" sin interferir con sus dinámicas internas de optimización.

Contribuciones Clave

• Formalización de DHOCL: El artículo establece un escenario OCL más realista y general que captura la evolución dinámica del conocimiento jerárquico en datos en flujo, superando las suposiciones rígidas de "de grueso a fino".
• El Marco HALO: Una arquitectura novedosa que combina la agregación adaptativa jerárquica y la regularización basada en prototipos para abordar los desafíos específicos de las jerarquías de etiquetas dinámicas.
• Evaluación Exhaustiva: Los autores establecen un protocolo de evaluación riguroso utilizando cinco métricas (AAUC, FAUC, MS, FFAcc, FAAcc) en diversos puntos de referencia (CIFAR-100, FGVC-Aircraft, CUB-200, iNaturalist e ImageNet-H) que cubren diversas estructuras jerárquicas y dominios.

Resultados Experimentales
Extensos experimentos demuestran que HALO supera consistentemente a las líneas base existentes de OCL (incluyendo métodos basados en replay, basados en regularización y conscientes de la jerarquía) en todos los conjuntos de datos y métricas.

• Rendimiento: HALO logra un Área bajo la Curva (AAUC) superior y una Precisión de Granularidad Fina (FAUC) superior, mientras reduce significativamente la Severidad del Error (MS).
• Compensación Estabilidad-Plasticidad: Las curvas de aprendizaje muestran que HALO aprende nuevas clases y niveles jerárquicos rápidamente mientras limita eficazmente el olvido catastrófico, superando tanto a los métodos puros de replay (que olvidan detalles de granularidad fina) como a los métodos analíticos puros (que luchan con la adaptación a nivel grueso).
• Robustez: El método demuestra robustez frente a diferentes arquitecturas de red base (ResNet-50, ViT-B) y estrategias de preentrenamiento (Supervisado, CLIP, DINO, MAE). También exhibe una degradación suave bajo ruido jerárquico (por ejemplo, eliminaciones de aristas o perturbaciones aleatorias en la taxonomía).
• Estudios de Ablación: Eliminar ya sea PredLA o HPR conduce a caídas en el rendimiento, confirmando que tanto la agregación adaptativa de clasificadores como la regularización estructural basada en prototipos son esenciales para el éxito.

Significado y Afirmaciones
Los autores posicionan este trabajo como un paso necesario hacia la superación de la brecha entre la clasificación jerárquica y el aprendizaje continuo. Afirman que DHOCL ofrece un entorno única y flexible y realista que refleja la evolución natural de las taxonomías en entornos de mundo abierto. Si bien reconocen que su escenario aún no cubre la complejidad total de los escenarios del mundo real (como estructuras de árbol altamente sesgadas o corruptas), ven a HALO como un marco fundamental que proporciona una referencia práctica y observaciones para informar la investigación futura en ambos campos. El trabajo enfatiza que un DHOCL exitoso requiere estrategias que alineen explícitamente la evolución de las características con la topología jerárquica, en lugar de depender únicamente de la supervisión a nivel de salida o de la mitigación genérica del olvido.