Adaptive auditing of AI systems with anytime-valid guarantees

Riepilogo Tecnico: Audit Adattivo dei Sistemi di IA con Garanzie Valide in Qualsiasi Momento

Enunciato del Problema

La caratterizzazione delle modalità di guasto nei sistemi di IA generativa è attualmente ostacolata dall'alto costo e dal tempo richiesto per l'annotazione e la valutazione. Di conseguenza, i professionisti hanno adottato paradigmi di test adattivi, in cui i casi di test e le dimensioni del campione sono determinati in modo opportunistico sulla base dei risultati passati (ad esempio, red-teaming, apprendimento attivo o raffinamento con intervento umano). Sebbene pratici, questi flussi di lavoro violano le assunzioni statistiche classiche: le dimensioni del campione sono spesso piccole (10–50 casi) e le decisioni di campionamento/arresto sono prese dinamicamente piuttosto che tramite regole predefinite.

L'inferenza statistica standard si basa su schemi di campionamento fissi e sull'asintotica dei grandi campioni. L'applicazione di questi all'adattamento dei test gonfia i tassi di errore di Tipo I (ad esempio, "p-hacking" tramite continue ispezioni) e rende difficile definire esattamente quale ipotesi venga testata. Nello specifico, superare una suite di test mirata e adattiva non certifica intrinsecamente la robustezza globale, né l'assenza di uno schema di campionamento predefinito consente di testare le prestazioni medie. Esiste un divario critico nei framework statistici capaci di supportare un'inferenza rigorosa sotto campionamento adattivo arbitrario e arresto opzionale con garanzie su campioni finiti.

Metodologia

Gli autori propongono un framework che formalizza l'audit della robustezza dell'IA attraverso due test di ipotesi "duellanti" e sfrutta l'Inferenza Sicura Valida in Qualsiasi Momento (SAVI) per fornire garanzie statistiche.

1. Framework delle Ipotesi Duellanti
L'audit è inquadrato come una competizione tra due ipotesi nulle:

• L'Ipotesi Nulla del Modello ($H_{mod}^0$): Afferma che il sistema di IA è globalmente robusto. Formalmente, per tutti i sottogruppi $S$ con prevalenza $\mu(S) \ge \epsilon$, la prestazione media $V(S)$ è superiore a una soglia target $q$. Il rifiuto implica l'esistenza di una modalità di guasto.
• L'Ipotesi Nulla dell'Auditor ($H_{aud}^0$): Afferma che l'auditor possiede una specifica strategia adattiva $\pi$ che alla volta scoprirà una modalità di guasto. Formalmente, esiste un tempo $\tau$ tale che per ogni $t \ge \tau$, i sottogruppi selezionati $S_t^\pi$ hanno prestazioni inferiori a $q$. Il rifiuto implica che l'audit è superato (l'auditor non è riuscito a trovare una modalità di guasto).

Il documento dimostra che, sotto una strategia di audit asintoticamente consistente (una che converge verso la scoperta di modalità di guasto se queste esistono), queste due ipotesi nulle sono complementi asintotici. Pertanto, rifiutare l'ipotesi nulla dell'auditor certifica efficacemente la robustezza globale.

2. Test tramite Scommesse ed E-Processi
Per gestire il campionamento adattivo arbitrario e l'arresto opzionale, gli autori utilizzano il framework "Testing by Betting" (Test tramite Scommesse). L'auditor è concettualizzato come colui che scommette contro i sottogruppi sospettati di essere modalità di guasto. Sotto l'ipotesi nulla, nessuna strategia di scommessa dovrebbe generare un profitto.

• E-processi: La ricchezza delle scommesse è tracciata tramite e-processi, che sono gli analoghi sequenziali dei valori p. Un e-processo $(E_t)$ garantisce che per qualsiasi tempo di arresto $\tau$, $E_P[E_\tau] \le 1$ sotto l'ipotesi nulla.
• Controllo dell'Errore di Tipo I: Per la disuguaglianza di Ville, arrestare quando un e-processo supera $1/\alpha$ garantisce un tasso di errore di Tipo I al massimo pari a $\alpha$, indipendentemente dalla strategia di campionamento adattivo o dal momento in cui il test viene interrotto.

3. Statistiche di Test Specifiche
Gli autori propongono diverse formulazioni di e-processi per entrambe le ipotesi:

• Rapporto di Verosimiglianza (LR): Basato sul Test del Rapporto di Verosimiglianza Sequenziale (SPRT), confronta la verosimiglianza del punteggio osservato sotto l'ipotesi di guasto ($q-\delta$) rispetto all'ipotesi nulla ($q$).
• Inferenza Universale (UI): Una versione adattiva in cui la probabilità alternativa è stimata dai dati (ad esempio, $\hat{\gamma}_{t-1}$) piuttosto che fissata, ottimizzando la "scommessa" in base ai tassi di guasto appresi.
• Estensioni Shiryaev-Roberts (SR): Queste integrano il rilevamento dei punti di cambiamento per gestire scenari in cui l'auditor richiede un "periodo di apprendimento" prima di identificare una modalità di guasto. Sommano i rapporti di verosimiglianza a partire da tutti i possibili punti di cambiamento, proteggendosi contro ritardi sconosciuti.

4. Procedura di Doppio Test
Il framework esegue e-processi simultanei per $H_{mod}^0$ e $H_{aud}^0$. La procedura si arresta non appena una delle due statistiche supera $1/\alpha$. Poiché le due ipotesi nulle sono mutualmente esclusive (sotto l'assunzione di una strategia di audit valida), una correzione di Bonferroni non è necessaria; il Tasso di Errore Familiare (FWER) è controllato al livello $\alpha$.

Contributi Chiave

1. Formalizzazione delle Ipotesi Duellanti: Il documento stabilisce un framework teorico in cui l'audit dell'IA è definito come il test dell'ipotesi nulla del modello contro l'ipotesi nulla dell'auditor. Dimostra che, con un auditor sufficientemente potente (asintoticamente consistente), questi test sono complementi asintotici, permettendo conclusioni binarie sulla robustezza globale.
2. Procedure Duali Sicure Valide in Qualsiasi Momento: Gli autori introducono doppi e-processi che forniscono limiti di arresto sia per il rilevamento delle modalità di guasto che per la certificazione dell'audit. Queste procedure mantengono il controllo dell'errore di Tipo I su campioni finiti sotto campionamento adattivo arbitrario e arresto opzionale.
3. Validazione Empirica: Lo studio dimostra che il test adattivo associato agli e-processi raggiunge conclusioni rigorose significativamente più velocemente rispetto ai metodi predefiniti. In alcuni casi, conclusioni statisticamente valide sono raggiunte con soli 20 osservazioni.

Risultati Sperimentali

Il framework è stato valutato in due contesti:

1. Dati Semi-sintetici (Dataset GPQA): Gli autori hanno simulato pipeline di IA con vari gradi di degradazione delle prestazioni tra i sottogruppi.

   • Prestazioni: La procedura SR-LR-UI (Shiryaev-Roberts con Inferenza Universale) ha ottenuto la massima potenza nel rilevare le modalità di guasto.
   • Confronto: Le strategie adattive hanno superato significativamente le strategie predefinite (Stratificate e Pre-apprese). Le strategie predefinite hanno spesso fallito nel rilevare le modalità di guasto, portando a un'alta percentuale di rifiuto dell'ipotesi nulla dell'auditor (superamento dell'audit) anche quando il sistema non era robusto—un rischio di interpretazione errata.
   • Oracolo: Un auditor oracolo (che conosce la vera modalità di guasto) avrebbe potuto rifiutare l'ipotesi nulla in 15–25 osservazioni, suggerendo che strategie di audit più intelligenti potrebbero ridurre ulteriormente i requisiti di campionamento.
   • Controllo dell'Errore: Quando non esisteva alcuna modalità di guasto, tutti i metodi hanno correttamente superato l'audit (hanno rifiutato $H_{aud}^0$) senza rilevare falsi guasti, confermando il controllo dell'errore di Tipo I.

2. Pipeline LLM Reale (Note Cliniche): Il framework è stato applicato a un LLM che estrae Determinanti Sociali della Salute (SDoH) dalle note cliniche.

   • Apprendimento Adattivo: L'auditor adattivo ha imparato con successo a sovracampionare le categorie a bassa accuratezza (Spearman $\rho = -0.84$ tra frequenza di campionamento e accuratezza).
   • Efficienza: SR-LR-UI ha richiesto il minor numero di campioni per rifiutare l'ipotesi nulla del modello (rilevando che il sistema non era robusto) rispetto ad altri metodi, escludendo l'Oracolo.

Significato e Affermazioni

Il documento afferma di fornire il primo framework statistico che formalizza cosa può essere testato e come testarlo sotto regimi di audit dell'IA altamente flessibili e mirati. Disaccoppiando la validità statistica dalla strategia di campionamento, consente ai professionisti di utilizzare test adattivi ed efficienti in termini di risorse (ad esempio, red-teaming, apprendimento attivo) senza sacrificare il rigore statistico.

Gli autori sottolineano che, sebbene il framework supporti strategie arbitrarie, la validità della conclusione di "robustezza globale" dipende dalla potenza dell'auditor. Se l'auditor è debole (ad esempio, red-teaming scarso), l'audit può essere superato anche se esistono modalità di guasto, riflettendo le preoccupazioni secondo cui audit mal progettati possono essere "teatro della sicurezza". Il lavoro mira a fornire ai professionisti gli strumenti per valutare la robustezza dell'IA con fiducia, fornendo una base statistica generale per pratiche di audit comuni e moderne.