An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering

Imaginez que vous avez un assistant robotique médical super intelligent capable d'examiner des radiographies, des échographies et des lames de microscope, puis de répondre à des questions sur celles-ci comme un médecin chevronné. Ce robot est conçu pour apprendre de nouveaux tours au fil du temps. Mais voici le hic : dans le monde réel, les médecins n'ont pas l'occasion de voir toutes leurs données d'entraînement en même temps. Ils reçoivent un nouveau type de cas aujourd'hui, un autre type demain, et un défi totalement nouveau la semaine prochaine. Si le robot apprend trop durement le nouveau tour, il pourrait complètement oublier les anciens. C'est ce qu'on appelle la « catastrophe de l'oubli » (catastrophic forgetting), et c'est comme un étudiant qui étudie tellement dur pour un examen de mathématiques qu'il en oublie soudainement sa langue maternelle.

Les chercheurs de cet article ont décidé de soumettre ce robot à un camp d'entraînement intensif d'« apprentissage continu ». Ils ne lui ont pas seulement donné des tâches similaires ; ils lui ont jeté un mélange chaotique de cinq métiers très différents :

1. La Classification : Choisir une seule réponse dans une liste (ex. : « Est-ce une lésion bénigne ou maligne ? »).
2. La Classification Multi-étiquettes : Choisir plusieurs réponses à la fois (ex. : « Sélectionnez toutes les anomalies observées »).
3. La Détection : Dessiner une boîte autour d'un endroit spécifique (ex. : « Où se trouve la tête fœtale ? »).
4. Le Comptage de Cellules : Donner un nombre exact (ex. : « Combien de cellules y a-t-il ici ? »).
5. La Génération de Rapports : Écrire un long paragraphe libre décrivant l'image.

La Grande Découverte : Le Robot s'est Confus
La principale conclusion de cette étude est que les « sorts magiques » (algorithmes) que les scientifiques utilisent actuellement pour aider les robots à se souvenir des anciennes tâches tout en apprenant les nouvelles peinent lorsque les tâches sont aussi différentes. Les auteurs suggèrent que les méthodes existantes ne peuvent pas parfaitement équilibrer le besoin du robot de rester flexible (plasticité) et son besoin de rester stable (stabilité).

Pensez à un chef qui est excellent pour faire des pizzas. Soudain, on lui demande de cuire un gâteau, puis de fileter un poisson, puis de compter des grains de riz, et enfin d'écrire une critique gastronomique. Si le chef essaie d'apprendre la recette du poisson en utilisant les mêmes astuces de « mémorisation » qu'il a utilisées pour le gâteau, il pourrait commencer à mettre de la sauce poisson sur la pizza ou oublier de compter les grains de riz. L'article montre que lorsque ces différents « menus » (tâches) sont mélangés, la mémoire du robot devient désordonnée.

Ce que l'Article Écarte
Les auteurs argumentent explicitement contre l'idée que nous puissions simplement utiliser les vieilles astuces qui fonctionnent pour des tâches similaires. Ils montrent que les méthodes qui fonctionnent bien lorsque le robot apprend des tâches de « facile à difficile » (comme commencer par une classification simple et passer à des rapports complexes) peinent lorsque l'ordre est mélangé ou lorsque les tâches sont trop différentes.

Ils écartent également l'idée que le simple fait de « réviser » d'anciennes données (montrer au robot d'anciennes images tout en lui enseignant les nouvelles) soit une solution miracle. Bien que cela aide un peu, cela n'empêche pas le robot d'oublier tout le reste. En fait, ils ont découvert qu'une méthode appelée O-LoRA (qui tente de donner à chaque tâche son propre « carnet de notes » séparé) présentait des pics d'oubli plus importants, provoquant des chutes de performance significatives dans certains scénarios.

L'Analogie du Sac à Dos « LoRA »
Pour comprendre pourquoi cela se produit, imaginez que le cerveau du robot possède un sac à dos géant et lourd (le modèle principal) qu'il ne change jamais. Pour apprendre de nouvelles choses, il ajoute seulement de petites « poches » ou adaptateurs légers appelés LoRA à l'extérieur du sac à dos.

• L'Expérience : Les chercheurs ont observé comment ces poches se déformaient et s'étiraient à mesure que le robot apprenait de nouvelles tâches.
• L'Observation : Lorsque le robot apprenait la tâche de « Génération de Rapports » (écrire de longs récits), ses poches s'étiraient dans une direction sauvage. Si cela arrivait tôt dans l'entraînement, cela perturbait la capacité du robot à réaliser les tâches courtes et précises plus tard.
• Le Résultat : La méthode appelée EWC (Elastic Weight Consolidation) a été la plus constante. Elle agissait comme un élastique qui maintenait les poches ensemble, empêchant de trop s'en éloigner. Cependant, même l'EWC n'était pas parfaite ; elle suggérait toujours que le robot oubliait certaines choses, mais moins que les autres.

Les Chiffres ne Mentent Pas
L'article a mesuré exactement ce que le robot oubliait en utilisant un « Ratio d'Oubli » (FR), où 0 signifie aucun oubli et 1 signifie une amnésie totale.

• Lorsque le robot apprenait des tâches dans un ordre simple (Facile → Difficile), la méthode « naïve » (apprendre simplement sans astuces de mémoire particulières) avait un Ratio d'Oubli de 0,94 pour la classification. C'est presque un oubli total !
• Même les meilleures méthodes n'ont pas réussi à ramener le Ratio d'Oubli à zéro. Par exemple, la méthode EWC a réduit l'oubli pour la classification à 0,40 dans un certain ordre, mais ce n'était toujours pas parfait.
• La tâche de « Détection » (dessiner des boîtes) a été un échec total pour tout le monde. Peu importe la méthode utilisée, la performance du robot sur la détection est restée systématiquement basse, avec des Ratios d'Oubli atteignant 1,00 (oubli complet) dans plusieurs cas.

L'Ordre Compte (Beaucoup)
Les chercheurs ont testé trois « curricula » (ordres d'apprentissage) :

1. Ordre A (Facile → Difficile) : Classification → Multi-étiquettes → Détection → Comptage → Rapports.
2. Ordre B (Difficile → Facile) : Rapports → Comptage → Détection → Multi-étiquettes → Classification.
3. Ordre C (Mixte) : Un mélange aléatoire.

Ils ont trouvé que la performance du robot dépendait fortement de l'ordre. Si le robot apprenait à écrire de longs rapports en premier (Ordre B), il se confondait et commençait à écrire de longs paragraphes même lorsqu'on lui posait des questions simples par oui ou par non. Cette « dérive » était moins problématique pour la méthode KD (Distillation de Connaissances), qui agissait comme un professeur strict forçant l'élève à garder ses réponses courtes, mais elle ne pouvait toujours pas tout réparer.

L'Essentiel
Les auteurs concluent que nous n'avons pas encore résolu ce problème. Les techniques actuelles de « conservation de la mémoire » ne sont pas assez robustes pour gérer la réalité désordonnée d'un hôpital où les tâches changent constamment et sont très différentes les unes des autres. Ils suggèrent que pour corriger cela, nous avons besoin de plus que de simples ajustements de nos « poches » ; nous devons aligner le comportement du robot afin qu'il sache exactement quand changer de chapeau.

Pour l'instant, l'article suggère que bien que nous fassions des progrès, le rêve d'un robot médical apprenant en continu sans rien oublier est encore un travail en cours, surtout quand les tâches vont du comptage de cellules à la rédaction d'essais. Les auteurs prévoient de rendre leur code public pour que d'autres puissent essayer de battre ces chiffres, mais pour l'instant, le robot est encore un peu distrait quand le menu change trop vite.