Statistical learning theory and Occam's razor: Regularization

Il dilemma del detective: perché meno è spesso meglio

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di indizi, hai una montagna di dati. Nel mondo della scienza e dell'informatica, questo si chiama apprendimento automatico (machine learning). L'obiettivo è insegnare a un computer a trovare schemi nei dati in modo che possa fare ipotesi intelligenti su cose nuove che non ha ancora visto. Pensa a come si insegna a un cane a riconoscere una "palla" mostrandogli mille palline diverse. Se il cane impara in modo troppo rigido, potrebbe pensare che solo quella specifica palla rossa sia una palla, perdendo di vista quella blu. Se impara in modo troppo permissivo, potrebbe pensare che un biscotto rotondo sia una palla. Questo equilibrio è il cuore del problema.

Per decenni, gli scienziati hanno discusso su una regola chiamata Rasoio di Occam. È un'antica idea secondo la quale, quando si hanno due spiegazioni che si adattano ai fatti altrettanto bene, si dovrebbe scegliere la più semplice. Ma perché? Il universo è naturalmente semplice? O è solo che le cose semplici sono più facili da gestire? Questa è stata una questione complicata per filosofi e informatici. Hanno cercato di dimostrare che i modelli semplici sono migliori, ma spesso la prova sembrava circolare — assumendo che il mondo sia semplice solo per dimostrare che i modelli semplici funzionano.

La grande idea del saggio: scambiare la precisione con una rete di sicurezza

Questo saggio, scritto da Tom F. Sterkenburg, scava nella matematica dell'apprendimento automatico per trovare un motivo solido e non circolare per utilizzare il Rasoio di Occam. L'autore non dice semplicemente che "la semplicità è buona"; usa un quadro teorico chiamato Teoria dell'Apprendimento Statistico per dimostrare che scambiare un po' di "adattamento perfetto" con molta "semplicità" è in realtà una strategia di sopravvivenza intelligente per i computer.

Ecco la storia di ciò che ha scoperto:

1. La trappola dell'adattamento perfetto
Immagina di cercare di tracciare una linea attraverso una serie di punti su un grafico. Se hai un righello molto flessibile (un modello complesso), puoi farlo ondeggiare così perfettamente da toccare ogni singolo punto. Si adatta ai dati perfettamente. Ma ecco il problema: se domani ricevi un nuovo insieme di punti, quella linea ondulata probabilmente li mancherà tutti. Ha memorizzato il rumore (le oscillazioni casuali) invece del modello. Nel linguaggio del saggio, questo è chiamato overfitting (sovradattamento).

Il saggio spiega che se provi a usare il modello più complesso possibile (uno che può adattarsi a tutto), perdi la capacità di fidarti dei tuoi risultati. Ottieni una garanzia che dice: "Se avessi dati infiniti, potresti avere ragione", ma nel mondo reale, con dati limitati, quella garanzia è inutile.

2. La promessa del "ciò che vedi è ciò che ottieni"
L'autore introduce un concetto chiamato Convergenza Uniforme. Immaginala come un'etichetta di "verità pubblicitaria" per il tuo modello. Promette che se il tuo modello sembra buono sui dati che hai (il set di addestramento), probabilmente sembrerà buono anche sui nuovi dati (il set di test).

Tuttavia, il saggio dimostra una regola ferrea: puoi ottenere questa promessa di "verità pubblicitaria" solo se limiti quanto complesso può essere il tuo modello. Se il tuo modello è troppo flessibile (troppo complesso), la promessa si rompe. Non puoi fidarti del fatto che ciò che vedi sia ciò che ottieni. Quindi, la prima lezione è: Mantieni il tuo modello abbastanza semplice da poter fidarti dei tuoi risultati.

3. La vera magia: Minimizzazione del Rischio Strutturale (SRM)
Ma aspetta, e se la verità è complicata? E se il modello è davvero una linea ondulata e una linea retta (un modello semplice) proprio non basta? Se ci limitiamo a usare modelli semplici, potremmo perdere l'occasione di trovare la risposta. Questo è il "compromesso tra bias e complessità".

La scoperta principale del saggio è un metodo chiamato Minimizzazione del Rischio Strutturale (SRM). Questo è il modo in cui il computer gioca d'astuzia. Invece di scegliere un singolo modello e restare fedele ad esso, l'SRM osserva un'intera famiglia di modelli, che vanno dal molto semplice al molto complesso.

Ecco il trucco intelligente: l'SRM non cerca solo il modello che si adatta meglio ai dati. Cerca il modello che si adatta ai dati abbastanza bene rimanendo il più semplice possibile. Aggiunge una "penalità" per la complessità.

• Se un modello complesso si adatta ai dati leggermente meglio di uno semplice, ma la penalità di complessità è enorme, l'SRM dice: "No grazie, resta con il modello semplice".
• Se un modello complesso si adatta ai dati molto meglio, la penalità ne vale la pena, e l'SRM dice: "Ok, diventiamo complessi".

4. Perché questo non è solo un indovinare
Il saggio sostiene che questa non è solo una fortuna o un'intuizione filosofica. È una giustificazione metodologica. L'autore dimostra che anche se non sappiamo se il mondo sia semplice o complesso, usare questa strategia di "scambio" è il modo più intelligente per imparare.

Egli usa un concetto chiamato "Fortuna" (Luckiness). Immagina di scommettere su una corsa di cavalli.

• Se scommetti su un cavallo semplice e la corsa è effettivamente semplice, vinci molto.
• Se scommetti su un cavallo semplice e la corsa è complessa, perdi, ma non molto più di quanto avresti perso scommettendo ciecamente su un cavallo complesso.
• Ma se scommetti su un cavallo complesso e la corsa è semplice, perdi molto perché hai complicato troppo le cose.

Usando l'SRM (lo scambio), ti proteggi dallo scenario peggiore. Guadagni molto se sei "fortunato" (la verità è semplice), e non perdi molto se sei "sfortunato" (la verità è complessa).

5. Cosa il saggio NON è
L'autore è molto attento a precisare cosa non è.

• Non è una prova che l'universo sia semplice. Non abbiamo bisogno di credere che il mondo sia semplice affinché questo funzioni.
• Non è solo una regola pragmatica (come "le cose semplici sono più facili da scrivere"). Si tratta di ottenere una migliore accuratezza.
• Non è una soluzione magica per ogni singola tecnica moderna. Il saggio ammette che nel campo nuovissimo del "deep learning", le cose si fanno strane (a volte modelli super complessi funzionano sorprendentemente bene), e questa specifica matematica non spiega ancora pienamente questi nuovi fenomeni.

In sintesi
Quindi, perché preferiamo la semplicità nell'apprendimento automatico? Secondo questo saggio, non è perché l'universo sia semplice. È perché la semplicità è una rete di sicurezza. Scambiando un po' di "adattamento perfetto" con molta "semplicità", otteniamo una garanzia matematica che le ipotesi del computer funzioneranno effettivamente su nuovi dati. È la differenza tra memorizzare un copione e comprendere la storia. Il saggio dimostra che questo scambio è il modo più affidabile per imparare, che la verità sia semplice o complicata.