Sintesi Tecnica: Dalle Decisioni delle Reti Neurali ai Casi di Addestramento

Definizione del Problema

Le reti neurali sono sempre più impiegate in domini ad alto rischio (es. diagnosi medica, approvazione del credito, offerte energetiche) dove le decisioni richiedono più di semplici spiegazioni a livello di caratteristiche. Gli auditor e gli stakeholder necessitano di evidenze a livello di caso: istanze di addestramento specifiche che supportano una decisione, gli esiti che tali istanze hanno comportato e come esse modellino la preferenza dell'azione corrente. Mentre i metodi di attribuzione delle caratteristiche (es. valori di Shapley) identificano le variabili di input influenti, essi non tracciano esplicitamente le decisioni fino ai casi di addestramento.

Le reti neurali standard assorbono l'esperienza di addestramento nei parametri appresi, rendendo indiretta la connessione tra una decisione implementata e i suoi casi di addestramento rilevanti. Sebbene la Teoria delle Decisioni Basata sui Casi (CBDT) formalizzi il ragionamento aggregando il supporto degli esiti dai casi ricordati, l'applicazione di questo framework alle reti neurali standard con rappresentazioni fisse rimane una sfida aperta. Il problema centrale è determinare quando e come i coefficienti di una lettura lineare su una rappresentazione neurale fissa possano essere interpretati come pesi di similitudine in stile CBDT rispetto a termini di influenza geometrica con segno, e come utilizzare questa decomposizione per l'audit post-addestramento senza riaddestrare il modello.

Metodologia

1. Framework Teorico: Decomposizione Esatta dei Casi

Il documento stabilisce un legame matematico esatto tra le letture OLS (Minimi Quadrati Ordinari) su rappresentazioni neurali fisse e il ragionamento basato sui casi.

• Configurazione: Si consideri una rete addestrata con una mappa di rappresentazione fissa $\phi(x) \in \mathbb{R}^H$. Per un'azione discreta $a$, la lettura è lineare: $Q(x, a) = v_a^\top \phi(x)$.
• Lettura OLS: Il vettore dei pesi $v_a$ è adattato tramite OLS per minimizzare la perdita quadratica rispetto ai vettori di ritorno condizionali all'azione $r_a$ derivati dai casi di addestramento.
• Decomposizione Esatta: Gli autori derivano che il punteggio di lettura per qualsiasi azione $a$ all'input $x$ è esattamente una somma pesata dei ritorni dei casi di addestramento:
  $$Q(x, a) = \sum_{i=1}^n \alpha_i(x) r_{i,a}$$
  dove il coefficiente $\alpha_i(x) = \phi(x)^\top G^{-1} \phi(x_i)$ è determinato dalla matrice di Gram empirica $G = \Phi^\top \Phi$ delle rappresentazioni di addestramento.
• Semantica:
  • Regime di Similitudine CBDT: Se la rappresentazione è bianchificata ($G = nI_H$) e i coefficienti sono non negativi, $\alpha_i(x)$ si comporta come un tipico peso di similitudine CBDT (prodotto scalare scalato).
  • Influenza Gram-Geometrica con Segno: Al di fuori di questo regime, i coefficienti sono con segno e non normalizzati. Essi rappresentano l'influenza Gram-geometrica con segno, dove i coefficienti positivi indicano casi vicini nello spazio di rappresentazione che aumentano il punteggio, e i coefficienti negativi agiscono come correzioni a lungo raggio che riducono o compensano il punteggio.

2. Segnali di Audit

Sulla base della decomposizione, gli autori propongono tre segnali di audit:

1. Punteggio di Audit del Caso: Decompone il punteggio dell'azione nelle contribuzioni $\psi_i(a, x) = \alpha_i(x)r_{i,a}$. L'ordinamento per valore assoluto identifica i casi influenti; l'ordinamento per segno distingue tra casi di supporto e casi di compensazione.
2. Entropia di Influenza: Misura la coerenza dell'evidenza dell'azione tra i primi $k$ casi influenti. Una bassa entropia indica un supporto coerente per una singola azione; un'alta entropia suggerisce evidenze contrastanti.
3. Diagnostica del Rischio di Influenza del Caso: Combina l'entropia di influenza con un termine di disaccordo di Gini tra i primi 10 casi per segnalare query con supporto debole o disperso, particolarmente utile per rilevare shift dei covariati.

3. Configurazione Sperimentale

Il metodo è valutato su:

• Generatore CBDT Sintetico: Per verificare il recupero di strutture note di preferenza dei casi.
• Offerte Energetiche PJM: Dati reali di carico con ritorni di prezzo sintetici per un problema di bidding a 3 azioni.
• Dataset UCI: Adult Income (task di approvazione) e Default Credit (task di esposizione al rischio) utilizzando proxy di ritorno.
• Baseline: Funzioni di Influenza, Selezione del Punto Rappresentante, TracIn e una baseline di prodotto interno.

Contributi Chiave

1. Account in Stile CBDT Esatto: Il documento dimostra che, per le letture OLS a rappresentazione fissa, ogni punteggio di azione è un'aggregazione esatta dei ritorni dei casi di addestramento. Ciò fornisce una via diretta e non approssimata dalla decisione neurale ai casi di addestramento specifici che la modellano.
2. Chiarificazione Semantica: Gli autori caratterizzano le condizioni sotto le quali i pesi dei casi funzionano come pesi di similitudine CBDT (regime bianchificato, non negativo) rispetto a quando devono essere interpretati come influenza Gram-geometrica con segno. Questa distinzione evita la confusione tra "similitudine" e "influenza" nei contesti di audit.
3. Framework di Audit Senza Riqualificazione: L'audit proposto richiede solo l'adattamento di una sonda OLS a uno strato superiore su una rappresentazione fissa. Non richiede l'accesso alla traiettoria di ottimizzazione originale, il riaddestramento del modello o approssimazioni basate su perturbazioni.

Risultati

• Recupero della Struttura dei Casi: Nel setting CBDT sintetico, la lettura OLS ha raggiunto un accordo del 96,0% con l'azione ottimale CBDT, e i punteggi di supporto ricostruiti hanno mostrato una forte correlazione con i veri supporti CBDT per tutte le azioni.
• Qualità dell'Attribuzione: Rispetto alle baseline (Funzioni di Influenza, Punto Rappresentante, TracIn), il metodo proposto ha ottenuto la massima coerenza dell'azione Top-30 (0,941 contro 0,909 per le Funzioni di Influenza) e una correlazione di Pearson competitiva con i contributi dei casi reali.
• Performance nel Mondo Reale:
  • PJM: La policy neurale e il decisore CBDM hanno concordato su 3221 di 3358 decisioni di test. I disaccordi erano concentrati nelle regioni di transizione del carico a basso margine. L'audit ha identificato con successo che le azioni "aggressive" avevano un allineamento di supporto più debole, segnalandole per un'ispezione più attenta.
  • Task UCI: È stato osservato un alto accordo tra rete e CBDT (0,9408 per Adult Income, 0,875 per Default Credit). L'audit ha identificato con successo l'azione di "approvazione standard" in Default Credit come la meno fedelmente ricostruita, evidenziando l'ambiguità.
• Utilità Diagnostica: Il punteggio di rischio dell'influenza del caso ha migliorato l'AUC per il rilevamento di predizioni errate sotto shift dei covariati rispetto ai classici baseline del margine della rete, dimostrando la sua utilità nell'identificare query debolmente supportate.

Significato e Rivendicazioni

Il documento sostiene di fornire una visione di audit pratica e post-addestramento delle decisioni neurali, rendendo algebricamente esplicita la base dei casi di addestramento.

• Modestia sull'Ambito: Gli autori dichiarano esplicitamente che la decomposizione esatta si applica alle letture OLS a rappresentazione fissa. Non pretendono che un addestramento non lineare arbitrario end-to-end ammetta la stessa decomposizione senza questa riduzione.
• Confini dell'Interpretabilità: Il framework chiarisce che i casi recuperati non sono uniformemente "di supporto"; i coefficienti negativi giocano un ruolo cruciale come correzioni geometriche. L'audit è valido nella misura in cui la fedeltà della sonda (misurata dalla ricostruzione del punteggio) lo consente.
• Praticità: Il metodo offre un compromesso: comporta una latenza per query più elevata (circa 58,6 ms) rispetto alle baseline da frazioni di millisecondo, ma fornisce un recupero dei casi più rilevante per la decisione senza necessità di riaddestramento o accesso alle traiettorie di addestramento.

Il lavoro colma il divario tra il rigore teorico della Teoria delle Decisioni Basata sui Casi e l'implementazione pratica delle reti neurali, offrendo uno strumento per tracciare, ispezionare e contestare le decisioni dell'IA in domini critici attraverso la lente della loro storia di addestramento.