Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules
Questo studio dimostra che l'addestramento supervisionato degrada rapidamente l'allineamento tra le reti neurali artificiali e la corteccia visiva primaria umana, con regole di apprendimento basate sull'errore globale come la backpropagation che causano una perturbazione significativamente maggiore rispetto alle regole locali biologicamente plausibili come il predictive coding e la STDP, suggerendo che le architetture non addestrate catturino intrinsecamente le statistiche visive di basso livello attraverso i bias induttivi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
La grande sorpresa: le "lavagne vuote" somigliano più ai cervelli che quelle "addestrate"
Immaginate di avere un cervello artificiale (una rete neurale) nuovo di zecca e non addestrato. È solo un mucchio di connessioni casuali, come una scatola di cuffie aggrovigliate. Sorprendentemente, quando gli mostrate delle immagini, i suoi "pensieri" (i pattern interni) somigliano molto al modo in cui il cervello umano (nello specifico la parte che vede forme e linee semplici, chiamata V1) reagisce a quelle stesse immagini.
Ora, immaginate di iniziare ad addestrare questo cervello artificiale per riconoscere oggetti (come gatti, auto o sedie). Vi aspettereste che, man mano che diventa più intelligente nel suo lavoro, inizi a pensare più come un cervello umano.
La scoperta scioccante del documento è l'opposto: non appena iniziate ad addestrare il computer, esso smette di pensare come un cervello umano. Infatti, più lo addestrate, meno somiglia alla parte iniziale del sistema visivo umano.
L'esperimento: quattro modi diversi per imparare
Il ricercatore, Nils Leutenegger, voleva capire perché accada questo. Ha testato quattro diverse "regole di apprendimento" (metodi su come il computer aggiorna il proprio cervello). Pensatele come quattro diversi stili di insegnamento:
- Backpropagation (BP): Il metodo standard, super efficiente, usato nella maggior parte dell'IA odierna. È come un insegnante severo che conosce la risposta esatta per ogni singolo studente e invia un messaggio di correzione preciso fino all'inizio della classe.
- Feedback Alignment (FA): Un metodo leggermente più "biologico" in cui i messaggi di correzione sono un po' disordinati e casuali, come un insegnante che urla correzioni lungo un corridoio senza sapere esattamente chi sta ascoltando.
- Predictive Coding (PC): Un metodo in cui il cervello cerca di indovinare cosa accadrà dopo e impara solo dagli errori. È come uno studente che presta attenzione solo quando la sua previsione è errata.
- STDP: Un metodo basato sul tempo, dove le connessioni si rafforzano solo se due neuroni si attivano esattamente nello stesso momento. È come una regola di vicinato: "Se tu e il tuo vicino fate la stessa cosa nello stesso momento, diventiamo amici".
Cosa è successo? Il "crash di un secondo"
Il ricercatore ha osservato questi computer imparare durante 40 round (epoch) di addestramento. Ecco cosa ha scoperto:
1. L' "Insegnante Severo" (Backpropagation) è il più distruttivo
Quando il computer utilizzava il metodo standard della Backpropagation, la sua somiglianza con la parte precoce del cervello visivo umano (V1) è crollata del 90% in un singolo round di addestramento.
- L'analogia: Immaginate uno scultore (l'IA) che parte da un blocco di marmo che già somiglia vagamente a un volto umano (i pesi casuali). L' "Insegnante Severo" dice allo scultore: "Devi far sì che questo sembri un preciso gatto, non un volto umano". Lo scultore immediatamente scolpisce via i tratti umani per concentrarsi interamente sul gatto. Il risultato è una splendida statua di un gatto, ma non somiglia più affatto a un volto umano.
2. Gli "Apprendisti Locali" (Predictive Coding & STDP) resistono
I computer che utilizzavano le regole di apprendimento più biologiche e locali (PC e STDP) hanno anche perso somiglianza con il cervello umano, ma ne hanno persa molta meno (solo il 25-30%).
- L'analogia: Questi scultori ricevono l'ordine di fare un gatto, ma possono solo fare piccoli aggiustamenti locali basati su ciò che vedono proprio davanti a loro. Riescono a fare un gatto, ma accidentalmente mantengono intatti alcuni dei tratti originali del "volto umano" del blocco di marmo.
3. Il compromesso: Visione precoce vs Riconoscimento di oggetti
C'è stato un colpo di scena nelle parti superiori del cervello (l'area che riconosce oggetti complessi, chiamata LOC).
- L' "Insegnante Severo" (Backpropagation) ha distrutto la somiglianza con la visione precoce, ma ha effettivamente migliorato la somiglianza nell'area di riconoscimento degli oggetti.
- Gli "Apprendisti Locali" hanno mantenuto la somiglianza con la visione precoce, ma non sono riusciti a costruire forti capacità di riconoscimento degli oggetti.
- La lezione: Sembra che ci sia un compromesso. Per diventare davvero bravi a riconoscere oggetti specifici (come un gatto), l'IA deve sacrificare il modo generale e umano di vedere linee e forme semplici. L' "Insegnante Severo" forza questo compromesso in modo aggressivo; gli "Apprendisti Locali" sono troppo gentili per effettuare il passaggio.
Perché questo è importante?
Il documento suggerisce che il motivo per cui i computer casuali e non addestrati somigliano ai cervelli umani non è perché stanno "imparando" a farlo, ma perché la loro struttura di base (il modo in cui sono costruiti) cattura naturalmente le statistiche del mondo visivo, proprio come fa la nostra V1.
Quando li addestriamo a un compito specifico, li costringiamo a cambiare quella struttura naturale. Più la regola di apprendimento è "globale" e precisa (come la Backpropagation), più aggressivamente essa cancella la struttura simile al cervello per fare spazio alle competenze specifiche del compito.
Riassunto in breve
- Prima dell'addestramento: I cervelli artificiali casuali somigliano sorprendentemente ai cervelli umani.
- Dopo l'addestramento: Smettono di somigliare ai cervelli umani.
- Il colpevole: Il modo standard in cui addestriamo l'IA (Backpropagation) è il più veloce nel distruggere questa qualità "simile al cervello".
- La lezione: La Natura potrebbe non usare il metodo dell' "Insegnante Severo" (Backpropagation) perché distrugge troppo velocemente la struttura naturale del cervello. Inveve, il cervello potrebbe usare "Apprendisti Locali" (come il Predictive Coding) che preservano la forma naturale del cervello pur cercando comunque di imparare.
Nota importante: Il documento non afferma che questo renda l'IA inutile, né suggerisce che dovremmo smettere di addestrare l'IA. Indica semplicemente una differenza fondamentale tra il modo in cui i nostri cervelli imparano e il modo in cui l'IA attuale impara, specificamente riguardo a come gestiscono le prime fasi della visione.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.