Distributions In, Distributions Out: The Case for Soft-Label Training

L'arte di sapere ciò che non si sa

Immaginate di cercare di insegnare a un robot come vedere il mondo. Gli mostrate l'immagine di una forma sfocata e gli chiedete: "È un gatto o un cane?". Se chiedeste a dieci persone diverse, potreste ottenere sei voti per "gatto" e quattro per "cane". Nel mondo dell'intelligenza artificiale, questo è un problema classico: come insegniamo a una macchina a capire che il mondo non è sempre bianco o nero?

Per molto tempo, il modo standard per addestrare queste macchine è stato quello di forzare una singola risposta. Prendiamo quei dieci voti umani, li contiamo e diciamo al robot: "La risposta è Gatto". Scartiamo i quattro voti "cane" e facciamo finta che l'immagine non fosse mai stata ambigua. Questo funziona benissimo per cose chiare, come identificare un segnale di stop rosso. Ma il sistema crolla quando gli esseri umani stessi non sono d'accordo. Se un essere umano guarda un'immagine complicata e si sente incerto, ma il robot è costretto a dire "100% Gatto", il robot sta mentendo sulla propria fiducia. È come un meteorologo che sa che c'è il 50% di probabilità di pioggia ma insiste: "Pioverà sicuramente", solo per adattarsi a un modello di previsione semplice.

Questo articolo approfondisce un angolo specifico del machine learning chiamato classificazione supervisionata. In termini semplici, si tratta di quando insegniamo ai computer a classificare le cose in categorie (come un testo "educato" rispetto a uno "maleducato", o foto di "gatti" rispetto a "cani") mostrandogli esempi con delle etichette. La grande domanda che gli autori pongono è: quando gli umani non sono d'accordo su un'etichetta, dobbiamo costringere il computer a scegliere un singolo vincitore, o dovremmo lasciargli imparare dall'incertezza dell'intera folla? Gli autori sostengono che forzare una singola risposta significhi scartare informazioni preziose su come funziona realmente il mondo.

Il caso delle Etichette Soft: Lasciare che la folla parli

Gli autori di questo articolo, Agamdeep Singh e colleghi di Microsoft, hanno deciso di testare un approccio diverso. Invece di far collassare un gruppo di opinioni umane in un'unica etichetta "hard" (come un singolo "Gatto"), hanno provato ad addestrare l'IA usando l'intera distribuzione delle risposte. Chiamano questo approccio addestramento con etichette soft (soft-label training).

Pensatelo in questo modo:

• L'Addestramento con Etichette Hard è come un insegnante che prende il voto della classe su una domanda difficile, vede che il 60% degli studenti pensa che la risposta sia "A" e il 40% pensa che sia "B", e poi scrive "A" sulla lavagna. L'insegnante dice allo studente: "La risposta è A. Memorizzala". Lo studente impara a essere sicuro al 100% di "A", anche se la classe era divisa.
• L'Addestramento con Etichette Soft è come un insegnante che scrive sulla lavagna: "Il 60% di noi pensa che sia A, il 40% pensa che sia B". L'insegnante dice allo studente: "La risposta è un mix. Sii sicuro al 60% di A e al 40% di B". Lo studente impara a riflettere l'effettiva confusione della stanza.

L'articolo testa questa idea su tre diversi dataset: uno per comprendere la logica del testo (ChaosNLI), uno per giudicare la cortesia nel testo (POPQUORN) e uno per identificare oggetti nelle foto (CIFAR-10H). In tutti questi casi, i dati erano disordinati, con esseri umani che erano genuinamente in disaccordo su quale fosse la risposta corretta.

Cosa hanno scoperto: L'incertezza è una caratteristica, non un errore

I risultati sono stati sorprendentemente chiari. Quando i ricercatori hanno confrontato i modelli "Hard" (quelli addestrati con risposte singole) con i modelli "Soft" (quelli addestrati con l'intera distribuzione della folla), i modelli Soft hanno vinto in quasi ogni aspetto che contava per la comprensione dell'incertezza umana.

1. Sono più bravi a corrispondere alla confusione umana.
La misura più importante è stata quanto la supposizione del computer fosse vicina alla reale diffusione dei voti umani. Gli autori hanno usato uno strumento matematico chiamato divergenza KL per misurare questo. Un numero più basso significa che il computer è più vicino alla realtà umana. I modelli con etichette soft hanno ridotto questo errore di una media del 32% su tutti i dataset. In parole povere: i modelli soft erano molto più bravi nel dire: "Non sono del tutto sicuro, ed ecco esattamente quanto sono incerto", rispecchiando il modo in cui gli esseri umani si sentivano realmente riguardo ai dati.

2. Non perdono accuratezza.
Una paura comune è che, se si insegna a un computer a essere incerto, potrebbe diventare meno bravo a dare la risposta "giusta". L'articolo mostra che questo non è vero. Sul dataset della cortesia (POPQUORN) e sul dataset delle immagini (CIFAR-10H), i modelli con etichette soft erano accurati quanto i modelli con etichette hard. Sul dataset della logica (ChaosNLI), i modelli con etichette soft erano in realtà più accurati (55,30% contro 51,75%). Quindi, essere onesti sull'incertezza non li ha resi meno intelligenti; li ha resi più intelligenti.

3. Sanno quando essere incerti.
Questa è forse la scoperta più interessante. I ricercatori hanno osservato come l'incertezza del computer (misurata dall'entropia) cambia da un campione all'altro. Hanno scoperto che, per i modelli con etichette soft, l'incertezza del computer seguiva l'incertezza umana il 61% più fortemente rispetto ai modelli con etichette hard.

• Se gli esseri umani erano confusi su una specifica foto, anche il modello soft era confuso.
• Se gli esseri umani erano sicuri al 100%, il modello soft era sicuro al 100%.
• I modelli hard, invece, tendevano a essere sicuri del proprio errore o sicuri della propria ragione anche quando gli umani erano divisi. Non "sentivano" l'ambiguità.

Perché questo è importante

L'articolo sostiene che il vecchio modo di fare — far collassare tutto il disaccordo umano in un singolo "voto di maggioranza" — è un errore. Tratta il disaccordo umano come "rumore" o un errore da correggere. Gli autori suggeriscono che, quando gli esperti non sono d'accordo, quel disaccordo è spesso la verità. Riflette il fatto che alcune cose nel mondo (come se una battuta sia educata o se un animale sfocato sia un gatto) sono genuinamente ambigue.

Addestrando l'IA sull'intera distribuzione delle risposte, costruiamo sistemi di intelligenza artificiale più onesti. Non fingono di sapere cose che non sanno. Gli autori notano che questo funziona anche quando non si ha un numero enorme di voti umani per immagine (anche solo 6 o 7), sebbene funzioni ancora meglio con di più (come 100 voti).

In definitiva, l'articolo suggerisce che per qualsiasi compito che coinvolga il giudizio umano — come la sicurezza, la cortesia o la preferenza — dovremmo smettere di costringere l'IA a scegliere un singolo vincitore. Invece, dovremmo lasciarli imparare dall'intera folla. Come affermano gli autori, per un'IA affidabile, abbiamo bisogno di sistemi che sappiano ciò che non sanno. L'addestramento con etichette soft è un modo per insegnare loro esattamente questo.