An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering

Imagina que tienes un asistente robot médico súper inteligente que puede observar radiografías, ecografías y portaobjetos de microscopio, y luego responder preguntas sobre ellos como un médico experimentado. Este robot está construido para aprender nuevos trucos con el tiempo. Pero aquí está el truco: en el mundo real, los médicos no llegan a ver todos sus datos de entrenamiento a la vez. Hoy reciben un tipo de caso nuevo, otro tipo diferente mañana, y un desafío totalmente nuevo la próxima semana. Si el robot aprende el nuevo truco con demasiada fuerza, podría olvidar por completo cómo hacer los anteriores. Esto se llama "olvido catastrófico", y es como un estudiante que estudia tanto para un examen de matemáticas que de repente olvida cómo hablar su lengua materna.

Los investigadores de este artículo decidieron someter a este robot a un entrenamiento intensivo de "aprendizaje continuo". No solo le dieron tareas similares; le lanzaron una mezcla caótica de cinco trabajos muy diferentes:

1. Clasificación: Elegir una respuesta de una lista (por ejemplo, "¿Es una lesión benigna o maligna?").
2. Clasificación multietiqueta: Elegir múltiples respuestas a la vez (por ejemplo, "Seleccione todas las anomalías observadas").
3. Detección: Dibujar un cuadro alrededor de un punto específico (por ejemplo, "¿Dónde está la cabeza fetal?").
4. Conteo de células: Dar un número exacto (por ejemplo, "¿Cuántas células hay aquí?").
5. Generación de informes: Escribir un párrafo largo y de formato libre describiendo la imagen.

El Gran Descubrimiento: El Robot se Confundió
El principal hallazgo de este estudio es que los "hechizos mágicos" (algoritmos) que los científicos usan actualmente para ayudar a los robots a recordar tareas antiguas mientras aprenden nuevas, tienen dificultades cuando las tareas son así de diferentes. Los autores sugieren que los métodos existentes no pueden equilibrar perfectamente la necesidad del robot de mantenerse flexible (plasticidad) con su necesidad de mantenerse estable (estabilidad).

Imagina a un chef que es excelente haciendo pizza. De repente, se le pide que hornee un pastel, luego filetee un pescado, luego cuente granos de arroz y finalmente escriba una reseña de un crítico gastronómico. Si el chef intenta aprender la receta del pescado usando los mismos trucos de "ahorro de memoria" que usó para el pastel, podría empezar a poner salsa de pescado en la pizza o olvidar cómo contar los granos de arroz. El artículo muestra que cuando estas diferentes "recetas" (tareas) se mezclan, la memoria del robot se vuelve desordenada.

Lo que el Artículo Descarta
Los autores argumentan explícitamente contra la idea de que simplemente podemos usar los mismos trucos de siempre que funcionan para tareas similares. Muestran que los métodos que funcionan bien cuando el robot aprende tareas de "fácil a difícil" (como empezar con clasificación simple y pasar a informes complejos) tienen dificultades cuando el orden se mezcla o cuando las tareas son demasiado diferentes.

También descartan la idea de que simplemente "repasar" datos antiguos (mostrar al robot imágenes viejas mientras se le enseñan las nuevas) sea una solución milagosa. Aunque ayuda un poco, no evita que el robot lo olvide todo. De hecho, encontraron que un método llamado O-LoRA (que intenta darle a cada tarea su propio "cuaderno" separado) exhibió picos de olvido más grandes, causando caídas significativas en el rendimiento en ciertos escenarios.

La Analogía de la Mochila "LoRA"
Para entender por qué sucede esto, imagina que el cerebro del robot tiene una mochila gigante y pesada (el modelo principal) que nunca cambia. Para aprender cosas nuevas, solo añade pequeños "bolsillos" ligeros o adaptadores llamados LoRA al exterior de la mochila.

• El Experimento: Los investigadores observaron cómo estos bolsillos se desplazaban y se estiraban a medida que el robot aprendría nuevas tareas.
• La Observación: Cuando el robot aprendía la tarea de "Generación de Informes" (escribir historias largas), estiraba sus bolsillos en una dirección salvaje. Si esto ocurría temprano en el entrenamiento, arruinaba la capacidad del robot para realizar las tareas cortas y precisas más adelante.
• El Resultado: El método llamado EWC (Consolidación de Pesos Elásticos) fue el más consistente. Actuaba como una banda elástica y extensible que mantenía los bolsillos unidos, evitando que se alejaran demasiado. Sin embargo, incluso el EWC no era perfecto; seguía sugiriendo que el robot olvidaba algunas cosas, solo que menos que otras.

Los Números no Mienten
El artículo midió exactamente cuánto olvidaba el robot usando una "Relación de Olvido" (FR), donde 0 significa no hay olvido y 1 significa amnesia total.

• Cuando el robot aprendía tareas en un orden simple (Fácil → Difícil), el método "naíf" (simplemente aprender sin trucos especiales de memoria) tenía una Relación de Olvido de 0.94 para la clasificación. ¡Eso es casi un olvido total!
• Incluso los mejores métodos no pudieron lograr que la Relación de Olvido fuera cero. Por ejemplo, el método EWC redujo el olvido para la clasificación a 0.40 en un orden, pero aun así no era perfecto.
• La tarea de "Detección" (dibujar cuadros) fue una lucha total para todos. Sin importar qué método usaran, el rendimiento del robot en la detección se mantuvo consistentemente bajo, con Relaciones de Olvido alcanzando el 1.00 (olvido completo) en varios casos.

El Orden Importa (Mucho)
Los investigadores probaron tres "currículos" (órdenes de aprendizaje):

1. Orden A (Fácil → Difícil): Clasificación → Multietiqueta → Detección → Conteo → Informes.
2. Orden B (Difícil → Fácil): Informes → Conteo → Detección → Multietiqueta → Clasificación.
3. Orden C (Mixto): Un orden aleatorio.

Encontraron que el rendimiento del robot dependía fuertemente del orden. Si el robot aprendía a escribir informes largos primero (Orden B), se confundía y empezaba a escribir párrafos largos incluso cuando se le pedían preguntas simples de sí o no. Este "desplazamiento" era menos problemático para el método KD (Destilación de Conocimiento), que actuaba como un profesor estricto que obliga al estudiante a mantener sus respuestas cortas, pero aun así no podía arreglarlo todo.

La Conclusión Final
Los autores concluyen que aún no hemos resuelto este problema. Las técnicas actuales de "ahorro de memoria" no son lo suficientemente fuertes para manejar la realidad desordenada de un hospital donde las tareas cambian constantemente y son muy diferentes entre sí. Sugieren que para solucionar esto, necesitamos más que solo retocar los bolsillos del robot; necesitamos alinear el comportamiento del robot para que sepa exactamente cuándo cambiar de sombrero.

Por ahora, el artículo sugiere que, si bien estamos progresando, el sueño de un robot médico que aprenda continuamente sin olvidar es todavía un trabajo en progreso, especialmente cuando las tareas varían desde contar células hasta escribir ensayos. Los autores planean hacer público su código para que otros intenten superar estas cifras, pero por ahora, el robot sigue siendo un poco olvidadizo cuando el menú cambia demasiado rápido.