An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering

Immagina di avere un assistente robotico medico super intelligente che può guardare radiografie, ecografie e vetrini al microscopio, per poi rispondere a domande su di essi come un medico esperto. Questo robot è costruito per imparare nuovi trucchi nel tempo. Ma c'è un problema: nel mondo reale, i medici non vedono tutti i loro dati di addestramento contemporaneamente. Oggi ricevono un nuovo tipo di caso, domani un altro tipo diverso e la settimana prossima una sfida totalmente nuova. Se il robot impara il nuovo trucco con troppa forza, potrebbe dimenticare completamente come fare le cose precedenti. Questo è chiamato "oblio catastrofico" (catastrophic forgetting), ed è come uno studente che studia così tanto per un test di matematica da dimenticare improvvisamente la propria lingua madre.

I ricercatori in questo articolo hanno deciso di sottoporre questo robot a un "boot camp" di apprendimento continuo davvero estenuante. Non gli hanno dato solo compiti simili; gli hanno lanciato un mix caotico di cinque lavori molto diversi tra loro:

1. Classificazione: Scegliere una risposta da un elenco (es. "È una lesione benigna o maligna?").
2. Classificazione multi-label: Scegliere più risposte contemporaneamente (es. "Seleziona tutte le anomalie rilevate").
3. Rilevamento (Detection): Disegnare un riquadro attorno a un punto specifico (es. "Dove si trova la testa fetale?").
4. Conteggio cellulare: Dare un numero esatto (es. "Quante cellule ci sono qui?").
5. Generazione di report: Scrivere un lungo paragrafo di testo libero che descriva l'immagine.

La Grande Scoperta: Il Robot si è Confuso
Il risultato principale di questo studio è che gli attuali "incantesimi magici" (algoritmi) che gli scienziati usano per aiutare i robot a ricordare i vecchi compiti mentre ne imparano di nuovi, faticano quando i compiti sono così diversi. Gli autori suggeriscono che i metodi esistenti non possono bilanciare perfettamente la necessità del robot di rimanere flessibile (plasticità) e la sua necessità di rimanere stabile (stabilità).

Pensa a uno chef che è bravissimo a fare la pizza. Improvvisamente, gli viene chiesto di preparare una torta, poi di filettare un pesce, poi di contare i chicchi di riso e infine di scrivere una recensione gastronomica. Se lo chef prova a imparare la ricetta del pesce usando gli stessi "trucchi per la memoria" che ha usato per la torta, potrebbe iniziare a mettere salsa di pesce sulla pizza o dimenticare come contare i chicchi di riso. Il documento mostra che quando questi diversi "menu" (compiti) vengono mescolati, la memoria del robot diventa disordinata.

Cosa l'Articolo Esclude
Gli autori sostengono esplicitamente contro l'idea che possiamo semplicemente usare i vecchi trucchi che funzionano per compiti simili. Dimostrano che i metodi che funzionano bene quando il robot impara compiti da "facili a difficili" (come iniziare con la classificazione semplice e passare a report complessi) faticano quando l'ordine è mescolato o quando i compiti sono troppo diversi.

Escludono anche l'idea che il semplice "ripasso" dei vecchi dati (mostrare al robot vecchie immagini mentre insegna quelle nuove) sia una soluzione magica. Sebbene aiuti un po', non impedisce al robot di dimenticare tutto il resto. Infatti, hanno scoperto che un metodo chiamato O-LoRA (che cerca di dare a ogni compito il proprio "quaderno" separato) ha mostrato picchi di oblio più grandi, causando cali significativi di prestazioni in determinati scenari.

L'Analogia dello Zaino "LoRA"
Per capire perché questo accade, immagina che il cervello del robot abbia uno zaino gigante e pesante (il modello principale) che non cambia mai. Per imparare cose nuove, aggiunge solo piccole "tasche" leggere o adattatori chiamati LoRA all'esterno dello zaino.

• L'Esperimento: I ricercatori hanno osservato come queste tasche si spostavano e si tendevano mentre il robot imparava nuovi compiti.
• L'Osservazione: Quando il robot imparava il compito di "Generazione di Report" (scrivere lunghe storie), tendeva le sue tasche in una direzione selvaggia. Se ciò accadeva nelle prime fasi dell'addestramento, rovinava la capacità del robot di svolgere i compiti brevi e precisi successivamente.
• Il Risultato: Il metodo chiamato EWC (Elastic Weight Consolidation) è stato il più costante. Agiva come un elastico che teneva insieme le tasche, impedendo loro di allontanarsi troppo. Tuttavia, anche l'EWC non era perfetto; suggeriva comunque che il robot dimenticava alcune cose, solo che lo faceva meno rispetto ad altri metodi.

I Numeri non Mentono
L'articolo misura esattamente quanto il robot dimentica usando un "Rapporto di Oblio" (Forgetting Ratio o FR), dove 0 significa nessun oblio e 1 significa amnesia totale.

• Quando il robot imparava i compiti in un ordine semplice (Facile $\rightarrow$ Difficile), il metodo "naïve" (imparare semplicemente senza trucchi speciali per la memoria) aveva un Rapporto di Oblio di 0,94 per la classificazione. È quasi un oblio totale!
• Anche i migliori metodi non sono riusciti a portare il Rapporto di Oblio a zero. Ad esempio, il metodo EWC ha ridotto l'oblio per la classificazione a 0,40 in un certo ordine, ma non era comunque perfetto.
• Il compito di "Rilevamento" (disegnare riquadri) è stato un incubo per tutti. Indipendentemente dal metodo utilizzato, le prestazioni del robot sul rilevamento sono rimaste costantemente basse, con Rapporti di Oblio che raggiungevano l'1,00 (oblio completo) in diversi casi.

L'Ordine Conta (Molto)
I ricercatori hanno testato tre diversi "curricula" (ordini di apprendimento):

1. Ordine A (Facile $\rightarrow$ Difficile): Classificazione $\rightarrow$ Multi-label $\rightarrow$ Rilevamento $\rightarrow$ Conteggio $\rightarrow$ Report.
2. Ordine B (Difficile $\rightarrow$ Facile): Report $\rightarrow$ Conteggio $\rightarrow$ Rilevamento $\rightarrow$ Multi-label $\rightarrow$ Classificazione.
3. Ordine C (Misto): Un rimescolamento casuale.

Hanno scoperto che le prestazioni del robot dipendevano fortemente dall'ordine. Se il robot imparava a scrivere lunghi report per primo (Ordine B), si confondeva e iniziava a scrivere lunghi paragrafi anche quando gli veniva chiesto un semplice sì o no. Questo "drift" (deriva) era meno problematico per il metodo KD (Knowledge Distillation), che agiva come un insegnante severo che costringe lo studente a mantenere le risposte brevi, ma non riusciva comunque a risolvere tutto.

La Conclusione
Gli autori concludono che non abbiamo ancora risolto questo problema. Le attuali tecniche di "salvataggio della memoria" non sono abbastanza forti da gestire la realtà disordinata di un ospedale dove i compiti cambiano costantemente e sono molto diversi tra loro. Suggeriscono che per risolvere il problema, abbiamo bisogno di qualcosa di più che semplici aggiustamenti delle "tasche" del robot; dobbiamo allineare il comportamento del robot in modo che sappia esattamente quando cambiare cappello.

Per ora, l'articolo suggerisce che, sebbene stiamo facendo progressi, il sogno di un robot medico che impara continuamente senza dimenticare è ancora un lavoro in corso, specialmente quando i compiti variano dal contare le cellule allo scrivere saggi. Gli autori prevedono di rendere pubblico il loro codice affinché altri possano provare a battere questi numeri, ma per ora, il robot è ancora un po' smemorato quando il menù cambia troppo velocemente.