Certainty-Validity: A Diagnostic Framework for Discrete Commitment Systems

Il documento introduce il framework Certainty-Validity (CVS) per valutare i sistemi a impegno discreto, evidenziando come la massimizzazione del punteggio CVS sia superiore alla semplice accuratezza nel prevenire l'overfitting benigno e nel garantire che i modelli smettano di impegnarsi quando le evidenze strutturali sono insufficienti.

L'essenziale

Immagina di avere un detective molto intelligente, ma anche un po' testardo. Questo detective ha un compito: guardare un'immagine o leggere una recensione e dire "È un colpevole!" o "È innocente!".

Il problema è che la maggior parte dei metodi per valutare i detective (le "metriche" classiche) guarda solo quante volte ha indovinato. Se il detective sbaglia, viene punito allo stesso modo, sia che abbia esitato e poi sbagliato, sia che abbia urlato la risposta sbagliata con la massima sicurezza.

Questo paper, scritto da Datorien L. Anderson, ci dice che questo modo di valutare è sbagliato per certi tipi di intelligenza artificiale. Ecco la storia in quattro atti.

1. Il Detective e i Tre Stati d'Animo

La maggior parte delle IA moderne è come un detective che non sa mai fermarsi: deve sempre scegliere "Colpevole" o "Innocente", anche se non ha prove.

L'architettura descritta in questo paper è diversa. È un detective che ha tre stati d'animo:

1. Sì, è colpevole! (Certezza positiva)
2. No, è innocente! (Certezza negativa)
3. Non lo so, le prove non bastano. (Dubbio/Neutralità)

Questo terzo stato è fondamentale. Se il detective vede un'ombra e non sa se è un gatto o un cane, dovrebbe dire "Non lo so". Se invece urla "È un gatto!" sbagliando, sta allucinando (inventando cose).

2. Il Muro del 83% (Il "Tetto di Ambiguità")

Gli scienziati hanno notato che questo detective si fermava sempre al 83% di successo su certi test (come riconoscere vestiti o sentimenti nei film). Sembrava un limite tecnico, come se il cervello del detective fosse troppo piccolo.

Ma il paper scopre una verità diversa: il detective non è stupido, è onesto.
Il 17% dei casi su cui fallisce sono casi "ambigui".

• Esempio: Immagina di dover distinguere una camicia da un maglione. Sono entrambi rettangoli con le maniche. Non c'è una differenza strutturale chiara, solo la stoffa o il collo.
• Il detective guarda e dice: "Non posso decidere con certezza".
• Il sistema di valutazione classico dice: "Hai sbagliato! Punti zero".
• Il paper dice: "Bravo! Hai avuto il buon senso di non indovinare a caso".

Il "tetto" del 83% non è un limite della macchina, ma un limite della confusione dei dati. Se togli i vestiti ambigui dal test, il detective arriva al 97% o al 99%.

3. L'Inganno dell'Addestramento (Il "Benign Overfitting")

Qui arriva la parte più interessante. Cosa succede se continuiamo ad addestrare il detective per molto tempo?

All'inizio, il detective è onesto: quando non sa, dice "Non lo so" (e sbaglia, ma lo ammette).
Ma se lo spingi troppo, succede una cosa strana: impara a mentire con sicurezza.
Non impara a risolvere il caso difficile, impara solo a urlare la risposta sbagliata con più convinzione.

• Prima: "Non so se è un maglione o una camicia... forse è un maglione." (Sbaglia, ma era dubbioso).
• Dopo troppo allenamento: "È un maglione!" (Sbaglia, ma è sicuro al 100%).

Il paper chiama questo fenomeno "Benign Overfitting" (Sovradattamento benigno). È "benigno" perché l'accuratezza totale sembra salire o rimanere stabile, ma in realtà il detective ha perso la sua bussola morale: ha smesso di sapere cosa non sa.

4. La Nuova Bussola: Il Punteggio CVS

Per evitare questo inganno, gli autori creano una nuova metrica chiamata Certainty-Validity (CVS).
Invece di chiedersi "Quante volte hai indovinato?", il CVS chiede:

• "Quante volte hai indovinato quando eri sicuro?"
• "Quante volte hai ammesso di non sapere quando la cosa era davvero difficile?"

L'analogia della Giuria:
Immagina una giuria in un tribunale.

• Un giurato che dice "È innocente" quando è colpevole è un errore.
• Un giurato che dice "Non so, il caso è ambiguo" quando è colpevole è un errore tecnico, ma è onesto.
• Un giurato che dice "È innocente!" con la massima sicurezza quando è colpevole è pericoloso.

Il paper ci dice che per le macchine che devono ragionare (come quelle mediche o legali), è meglio avere un modello che dice "Non lo so" (e poi lo controlla un umano) piuttosto che un modello che dice "È sicuro" e sbaglia.

In Sintesi: Cosa dobbiamo imparare?

1. Non tutte le risposte sbagliate sono uguali. È meglio sbagliare ammettendo il dubbio che sbagliare con la sicurezza di chi sa tutto.
2. Il 83% non è un fallimento. È il punto in cui la macchina smette di inventare cose per compiacere il test. È un comportamento virtuoso.
3. Fermati prima. Addestrare troppo un modello lo rende "sicuro" ma "bugiardo". Il momento migliore per fermare l'addestramento è quando il modello sa ancora distinguere tra ciò che conosce e ciò che non conosce, anche se questo significa avere un punteggio di accuratezza leggermente più basso.

La morale della favola:
Un'intelligenza artificiale che sa dire "Non lo so" è molto più intelligente e sicura di una che sa dire "Lo so" su tutto, anche quando sbaglia. Il vero obiettivo non è avere il punteggio più alto, ma avere la certezza giusta.

Sommario tecnico

1. Il Problema: Il Limite dell'Accuratezza Standard

Il paper identifica una falla epistemologica nelle metriche di valutazione standard per l'apprendimento automatico (accuratezza, precisione, recall, AUROC). Queste metriche trattano tutti gli errori come equivalenti, penalizzando allo stesso modo una previsione sicura ma errata e una previsione incerta e errata.

Questa assunzione è valida per i modelli probabilistici continui, ma fallisce per i sistemi a impegno discreto (discrete commitment systems). Questi architetture selezionano stati ternari $\{-W, 0, +W\}$ per rappresentare impegni logici o strutturali:

• $+W$ o $-W$: Impegno a una classe (certezza).
• $0$: Ritenzione dell'impegno per mancanza di prove sufficienti (incertezza).

Il problema centrale è che l'accuratezza standard non distingue tra:

1. Uncertain-Incorrect (UI): Il modello riconosce correttamente l'ambiguità dei dati e si astiene dall'impegno (comportamento epistemicamente corretto).
2. Confident-Incorrect (CI): Il modello "allucina" una struttura dove non esiste, impegnandosi con sicurezza su dati ambigui (comportamento pericoloso).

Sui benchmark standard (Fashion-MNIST, EMNIST, IMDB), i modelli discreti mostrano un plateau persistente intorno all'83% di accuratezza. La domanda di ricerca è: questo è un limite architetturale o un limite intrinseco dei dati?

2. Metodologia: Il Framework Certainty-Validity (CVS)

L'autore propone il framework Certainty-Validity (CVS) come strumento diagnostico per decomporre le prestazioni del modello in una matrice $2 \times 2$, distinguendo tra Certezza (Alta/Bassa) e Validità (Corretto/Errato):

• CC (Confident-Correct): Alta certezza, previsione corretta.
• CI (Confident-Incorrect): Alta certezza, previsione errata (Allucinazione).
• UC (Uncertain-Correct): Bassa certezza, previsione corretta.
• UI (Uncertain-Incorrect): Bassa certezza, previsione errata (Astenzione appropriata).

Metriche Derivate:

• CommitAcc: Accuratezza quando il modello si impegna (CC / (CC + CI)).
• AppropUncert: Percentuale di errori gestiti con appropriata incertezza (UI / (UI + CI)).
• Coverage: Percentuale di campioni per cui il modello si impegna.
• CVS (Certainty-Validity Score): Un punteggio composito che bilancia affidabilità e consapevolezza dell'incertezza.

Esperimenti di Ablazione:
Per testare le ipotesi sul "Tetto del 83%", sono stati condotti esperimenti rimuovendo l'ambiguità strutturale dai dataset:

• Fashion-MNIST: Rimozione delle classi topologicamente identiche (Camicia, Maglione, Cappotto).
• EMNIST: Utilizzo solo delle cifre (0-9), eliminando le ambiguità lettera/cifra (es. O/0).
• IMDB: Filtraggio delle recensioni per polarità forte (rating $\ge 8$ o $\le 3$), eliminando le recensioni ambigue/miste.

3. Risultati Chiave

A. Il "Tetto del 83%" è un Limite dei Dati, non dell'Architettura

Rimuovendo i dati strutturalmente ambigui, l'accuratezza del modello discreto è aumentata drasticamente, smentendo l'ipotesi di un limite di capacità architetturale:

• Fashion-MNIST (7 classi): Accuratezza salita da 83% a 97%.
• EMNIST (solo cifre): Accuratezza salita a 99.59%.
• IMDB (sentiment forte): Accuratezza salita da 83% a 87%.

Questo dimostra che il 17% di errore residuo sui benchmark completi è dovuto a campioni intrinsecamente ambigui che richiedono discriminazione testurale o contestuale, non topologica. Il modello rifiuta correttamente di impegnarsi su questi dati.

B. Il "Platonic Spike" e la Scoperta Strutturale

Nei dataset "puliti", il modello mostra un Platonic Spike al primo epoch: l'accuratezza di test supera quella di training (es. +14.69% su Fashion-MNIST). Questo indica che il modello scopre rapidamente strutture topologiche invarianti e generalizza prima di memorizzare. Su dataset ambigui (IMDB completo), questo spike scompare, indicando che il modello non trova strutture chiare e inizia a memorizzare pattern conflittuali.

C. Il Meccanismo del "Benign Overfitting" (Sovradattamento Benigno)

Il paper ribalta la definizione tradizionale di benign overfitting. Analizzando la traiettoria di addestramento con CVS, si scopre che:

• All'inizio (Epoch 1), gli errori sono prevalentemente UI (il modello sa di non sapere).
• Con l'addestramento prolungato, gli errori migrano da UI a CI. Il modello non impara a classificare meglio i dati ambigui; diventa semplicemente più sicuro dei suoi errori.
• L'accuratezza di test può rimanere stabile o aumentare leggermente, ma il CVS crolla.
• Conclusione: Il "benign overfitting" è in realtà una perdita di calibrazione epistemica. Il modello diventa un "hallucinator confidente".

D. Il Ruolo della Temperatura Gumbel-Softmax

L'analisi rivela che l'uso standard di annealing della temperatura $\tau$ (portandola a valori molto bassi) è dannoso. Una $\tau$ bassa forza un impegno duro, convertendo forzatamente UI in CI. Mantenere $\tau$ in un range moderato (0.7–0.9) massimizza il CVS, permettendo al modello di rimanere incerto quando le prove sono insufficienti.

4. Contributi Principali

1. Matrice Certainty-Validity: Uno strumento diagnostico che separa l'affidabilità (accuratezza dell'impegno) dalla consapevolezza di sé (incertezza appropriata).
2. Ridefinizione del Fallimento: L'errore Uncertain-Incorrect (UI) non è un fallimento, ma uno stato epistemico valido. Il vero fallimento è il Confident-Incorrect (CI).
3. Spiegazione del 83% Ceiling: Il plateau non è un limite architetturale, ma la proporzione di dati strutturalmente ambigui nei benchmark standard.
4. Nuova Definizione di Overfitting: L'overfitting è definito come la migrazione degli errori dall'incertezza alla certezza ingiustificata, misurabile tramite il declino del CVS anche a parità di accuratezza.
5. Applicazione Trasversale: Il framework è applicabile anche al design di giochi (per analizzare le aspettative dei giocatori vs. l'esperienza reale), dimostrando la sua utilità generale nella gestione di impegni e incertezze.

5. Significato e Implicazioni

Il paper suggerisce un cambio di paradigma nell'addestramento e nella selezione dei modelli per sistemi di ragionamento discreto:

• Criterio di Stop: Non fermare l'addestramento quando l'accuratezza di test è massima, ma quando il CVS inizia a declinare (o quando l'AppropUncert cala).
• Sicurezza: Per applicazioni critiche, un modello con accuratezza leggermente inferiore ma alto CVS (che sa quando non rispondere) è preferibile a un modello con alta accuratezza ma basso CVS (che allucina con sicurezza).
• Progettazione dei Benchmark: I benchmark dovrebbero essere segmentati per distinguere la capacità di apprendimento strutturale dalla capacità di gestire l'ambiguità testuale o contestuale.

In sintesi, il framework CVS dimostra che la "verità" di un modello non risiede solo nella correttezza delle sue risposte, ma nella correttezza della sua certezza. Un modello che sa dove fermarsi è epistemologicamente superiore a uno che indovina con sicurezza.