The New Associationism: Lessons from Deep Learning

Sintesi Tecnica: Il Nuovo Associazionismo: Lezioni dal Deep Learning

Definizione del Problema
Il saggio affronta una questione centrale nelle scienze cognitive: cosa rivelano i recenti successi dell'Intelligenza Artificiale (IA), specificamente del deep learning, riguardo ai meccanismi che sottendono l'apprendimento umano? Sebbene sia incontestabile che gli esseri umani apprendano estensivamente, la natura computazionale di questo apprendimento rimane oggetto di dibattito. Storicamente, le teorie associazioniste — che postulano che l'apprendimento avvenga attraverso la formazione e la regolazione graduale delle associazioni in risposta all'esperienza — sono state emarginate a favore di approcci simbolici, basati su regole e nativisti. I critici, come Forder e Pylyshyn, sostenevano che i modelli connessionisti (statistici) fossero troppo limitati per rendere conto del pensiero strutturato, dell'apprendimento con un singolo esempio (one-shot learning) e della sistematicità della cognizione umana. Il saggio mira a determinare se i trionfi empirici della moderna IA convalidino una specifica forma di associazionismo e, in caso affermativo, in che misura e con quali riserve.

Metodologia
L'autore impiega un'analisi concettuale dei contemporanei sistemi di IA, concentrandosi sul livello funzionale dell'apprendimento piuttosto che su un rigoroso isomorfismo meccanicistico con i neuroni biologici. La metodologia prevede:

1. Identificazione del Paradigma Dominante: Stabilire che l'apprendimento supervisionato (l'apprendimento da coppie input-output per minimizzare l'errore) è il motore centrale che guida una vasta gamma di successi dell'IA moderna, inclusi i Large Language Models (LLM), la generazione di immagini e gli agenti per il gioco.
2. Analisi delle Riformulazioni: Esaminare come problemi diversi e complessi (ad es., l'acquisizione del linguaggio, l'apprendimento per rinforzo nei giochi) siano stati teoricamente riformulati in sottoproblemi di apprendimento supervisionato. Ciò comporta il tracciare come vengono generati i "label" o i segnali valutativi, che spaziano dall'annotazione umana diretta alla predizione auto-supervisionata (ad es., la predizione del token successivo) e alla stima del valore tramite bootstrapping (ad es., l'apprendimento della differenza temporale).
3. Mappatura sull'Associazionismo: Confrontare le caratteristiche funzionali dell'apprendimento supervisionato nelle reti neurali profonde (DNN) — specificamente la discesa del gradiente e la regolazione dei parametri guidata dall'errore — con i principi fondamentali delle classiche teorie associazioniste (condizionamento pavloviano e operante).
4. Valutazione dei Limiti: Valutare i punti in cui l'analogia tra l'IA e l'apprendimento umano si interrompe, in particolare riguardo alle architetture computazionali necessarie per rendere efficace l'apprendimento supervisionato e alla distinzione tra i meccanismi di apprendimento e il comportamento durante l'inferenza.

Contributi Chiave
Il saggio presenta tre argomenti primari:

1. L'Ubiquità dell'Apprendimento Supervisionato: L'autore sostiene che l'apprendimento supervisionato non sia meramente un paradigma tra i tanti, ma sia il meccanismo fondamentale alla base dei più significativi progressi dell'IA. Anche i sistemi che sembrano operare tramite apprendimento per rinforzo o generazione non supervisionata sono spesso guidati da obiettivi supervisionati riformulati, dove il "label" è costruito tramite computazioni intermedie (ad es., la predizione del rumore nei modelli di diffusione o il valore futuro nell'apprendimento della differenza temporale).
2. Convalida degli Ideali Associazionisti: Il successo del deep learning supporta una forma di associazionismo "modesta ma genuina". Nello specifico, convalida due tesi centrali dell'associazionismo:
   • Uniformità: Un singolo meccanismo di apprendimento generale (correzione dell'errore basata sul gradiente) opera attraverso domini vastamente differenti (visione, linguaggio, strategia), a sostegno della visione associazionista secondo cui diverse capacità cognitive derivano da un motore di apprendimento comune.
   • Regolazione Graduale e Guidata dall'Errore: La regolazione iterativa e statistica dei parametri per ridurre la perdita (loss) rispecchia la modifica graduale, guidata dall'esperienza, delle associazioni postulata dalle teorie del condizionamento classico (ad es., il modello di Rescorla-Wagner).
3. Il Ruolo dell'Architettura: Il saggio chiarisce che, sebbene il meccanismo di apprendimento sia associazionista, il successo di questi sistemi dipende da sofisticate architetture computazionali (ad es., transformer, reti convoluzionali, processi di diffusione) che vanno ben oltre quanto previsto dai classici associazionisti. L'apprendimento supervisionato opera come una componente all'interno di queste strutture più ampie, non come una spiegazione completa delle capacità del sistema.

Risultati
L'analisi dimostra che l'approccio della "modellazione statistica", un tempo deriso come incapace di gestire la cognizione di alto livello, è in realtà il motore di sistemi capaci di gioco sovrumano, ragionamento complesso e generazione di immagini inedite. Il saggio trova che:

• La riformulazione dei problemi in compiti di apprendimento supervisionato è un salto concettuale non banale che ha permesso alle reti profonde di risolvere problemi precedentemente ritenuti richiedenti sistemi di regole simboliche.
• La plausibilità biologica di questo modello è rafforzata dalle evidenze che i sistemi biologici (ad es., la segnalazione dopaminergica nei mammiferi) tracciano gli errori di predizione in modi che sono paralleli all'apprendimento della differenza temporale, suggerendo che la natura possa anche configurare i problemi di apprendimento come sottoproblemi supervisionati.
• Le obiezioni sull'one-shot learning e sul pensiero strutturato rivolte al connessionismo sono significativamente indebolite; gli stessi meccanismi che apprendono pattern di basso livello, quando scalati e vincolati architettonicamente, esibiscono capacità cognitive di alto livello.

Significato e Rivendicazioni
Il saggio rivendica una convalida "modesta" dell'associazionismo. Sostiene che il nucleo del meccanismo di apprendimento nella moderna IA sia fondamentalmente associazionista: un processo uniforme, graduale e guidato dall'errore di regolazione delle connessioni basato sul feedback. Ciò confuta l'argomento di lungo corso secondo cui i meccanismi associazionisti sarebbero intrinsecamente troppo deboli per spiegare le capacità cognitive umane.

Tuttavia, l'autore limita esplicitamente l'ambito di questa convalida:

• Non una Spiegazione Completa: Il saggio non afferma che l'associazionismo spieghi l'interezza dell'apprendimento umano. Le architetture computazionali necessarie per far funzionare l'apprendimento supervisionato (ad es., specifici bias induttivi nelle CNN o nei Transformer) sono essenziali e distinte dal modello di apprendimento stesso.
• Distinzione dall'Empirismo: Il saggio distingue tra meccanismi associazionisti e rivendicazioni empiriste forti sull'origine della conoscenza. Sebbene il meccanismo di apprendimento possa essere dominio-generale, il saggio riconosce che gli apprendenti biologici possiedono probabilmente bias induttivi specifici per il dominio (ad es, nel calcolo numerico o nel ragionamento spaziale) che sono compatibili con il meccanismo di apprendimento, ma non da esso spiegati.
• Inferenza vs. Apprendimento: Il saggio nota che il comportamento flessibile, simile al ragionamento, osservato nell'IA durante l'inferenza è l'output dell'addestramento associazionista, non necessariamente il riflesso di un processo associazionista in corso durante il ragionamento stesso.

In definitiva, il saggio suggerisce che, se i sistemi di IA sono modelli utili per l'apprendimento umano, essi indicano una realtà biologica in cui un motore associazionista generale, guidato dall'errore, opera all'interno di complesse restrizioni architettoniche specifiche per dominio.