Immagina di essere il capo della sicurezza di un castello massiccio e tecnologicamente avanzato. Ogni giorno, migliaia di persone cercano di entrare e il tuo compito è assicurarti che entrino solo le persone giuste. Hai uno specchio magico che può riconoscere i volti, ma non è perfetto. A volte pensa che uno sconosciuto assomigli a un residente (un "falso match"), e a volte pensa che un residente sembri uno sconosciuto (un "falso non-match"). Per mantenere il castello al sicuro, devi stabilire una regola molto severa: "Lascia entrare le persone solo se lo specchio è quasi sicuro al 100% che appartengano al castello". Questa regola è chiamata "soglia" (threshold). Se abbassi troppo l'asticella, gli impostori entrano; se la alzi troppo, i tuoi stessi amici vengono respinti.

Immagina ora di voler testare il tuo specchio prima che il castello apra. Non puoi semplicemente aspettare che si presentino persone reali per commettere errori; questo sarebbe troppo pericoloso. Così, decidi di costruire un sacco di persone "finte" generate dal computer per testare il tuo specchio. Questo è il mondo dei dati sintetici: volti digitali creati dall'IA che sembrano reali ma non lo sono. La grande domanda che gli scienziati si pongono è: "Possiamo fidarci di questi volti finti per stabilire esattamente dove impostare la soglia di sicurezza?". Se i volti finti si comportano diversamente dalle persone reali, il tuo sistema di sicurezza potrebbe essere un disastro annunciato. Questo articolo approfondisce proprio questo problema, specificamente per i nuovi sistemi di controllo delle frontiere europee che devono essere incredibilmente precisi.

---

La prova generale digitale che è andata male

In questo studio, Arto Apila dell'Università di Oulu ha deciso di interpretare il ruolo di un pilota di collaudo per un guardiano di frontiera. L'obiettivo era vedere se l'uso di dati facciali sintetici (volti generati dal computer) per impostare la soglia di sicurezza per i sistemi di controllo delle frontiere funzionasse nel mondo reale. Pensalo come a un simulatore di volo. I piloti si addestrano nei simulatori per imparare a volare, ma se la fisica del simulatore è leggermente errata, il pilota potrebbe schiantarsi quando sale su un vero aereo. I ricercatori volevano sapere: Il "simulatore" (i dati sintetici) è abbastanza buono per impostare le regole per l'"aereo reale" (il vero controllo delle frontiere)?

Hanno utilizzato un tipo specifico di modello IA chiamato EdgeFace, che è come una versione leggera e veloce di un rilevatore di volti super intelligente, progettata per funzionare su piccoli dispositivi come quelli che potresti trovare a un gate aeroportuale. Hanno testato questo modello utilizzando due diversi set di volti "finti" (dataset sintetici) e li hanno confrontati con set di voli "reali" (foto scattate in condizioni controllate e in condizioni reali disordinate).

La "coda" della storia

Ecco la parte complicata che l'articolo svela. Quando osservi come un sistema di riconoscimento facciale assegna i punteggi alle persone, è come un grafico. La maggior parte delle persone ottiene punteggi nel mezzo (chiaramente un match o chiaramente non un match). Ma la zona di pericolo è alla fine del grafico, nelle "code". È qui che il sistema si confonde e potrebbe scambiare uno sconosciuto per un amico.

I ricercatori hanno scoperto che, mentre i dati sintetici sembrano ottimi nel mezzo del grafico, sbagliano completamente le code. È come cercare di prevedere come si comporterà una folla durante un panico osservando una prova calma. I volti finti non avevano gli stessi "scenari peggiori" delle persone reali.

Quando i ricercatori hanno cercato di usare le regole (le soglie) apprese dai volti finti sui volti reali, le cose sono andate storte:

• Il problema del "Troppo severo": A volte, il sistema impostava l'asticella così alta da iniziare a respingere veri viaggiatori. In un test, quando cercavano di essere super rigorosi (puntando a un tasso di errore dello 0,001%), il sistema ha respinto quasi il 26% delle persone reali che avrebbe dovuto far passare!
• Il problema del "Troppo permissivo": In altri casi, il sistema era troppo fiducioso. Ha lasciato entrare degli impostori a un tasso molto più alto del limite di sicurezza.
• L'attacco "Morph": I ricercatori hanno anche testato cosa succede se qualcuno cerca di intrufolarsi fondendo insieme due volti (un attacco "morph"). Hanno scoperto che le impostazioni derivate dai dati finti rendevano il sistema molto più vulnerabile a questi trucchi. Se imposti le regole basandoti sui dati finti, il sistema potrebbe far passare un volto fuso proprio attraverso la porta.

Il verdetto: Non fidarti del simulatore da solo per la decisione finale

La scoperta principale di questo articolo è un po' una delusione per chi sperava in una soluzione rapida e facile che si affidi solo ai dati finti. Suggerisce che i dati sintetici non possono essere affidati per stabilire le regole di sicurezza finali per sistemi ad alto rischio come il controllo delle frontiere, specialmente quando è necessaria un'incredibile precisione (bassi tassi di falsi match).

Gli autori hanno scoperto che, anche se usi due tipi diversi di dati finti, essi forniscono risposte diverse. È come chiedere a due diversi meteorologi di prevedere un uragano; uno dice "porta un ombrello", l'altro dice "costruisci un bunker". Non puoi sapere quale dei due abbia ragione finché non vedi la vera tempesta.

Lo studio argomenta esplicitamente contro l'idea che tu possa semplicemente generare un milione di volti finti, eseguire i tuoi test e poi impostare le regole di sicurezza della frontiera basandoti solo su di essi. Il "disallineamento" nelle code dei dati significa che le regole saranno sbagliate quando applicate agli esseri umani reali. Tuttavia, l'articolo non dice che i dati sintetici siano inutili. Al contrario, raccomanda di usarli per le fasi iniziali di sviluppo e per la calibrazione preliminare, ma insiste sul fatto che la selezione della soglia finale e critica debba essere validata con dati del mondo reale.

Cosa dovremmo fare invece?

Quindi, i dati sintetici sono inutili? Non affatto! L'articolo suggerisce che sono ancora un ottimo strumento per le fasi iniziali della costruzione del sistema. Puoi usarli per addestrare l'IA, per vedere se il codice funziona e per fare un controllo approssimativo. Ma quando arriva il momento di impostare la soglia di sicurezza finale, quella di vita o di morte, devi usare dati del mondo reale.

Pensalo come alla preparazione di una torta. Puoi usare un ricettario (dati sintetici) per imparare a mescolare gli ingredienti e preparare un lotto di prova. Ma prima di servire la torta alla Regina, devi assaggiare la torta vera che hai preparato con ingredienti reali. Se salti la degustazione e ti fidi solo del libro, potresti servire qualcosa di troppo salato o troppo dolce.

I ricercatori concludono che per sistemi come il sistema di ingresso/uscita (EES) dell'Unione Europea, che deve essere incredibilmente sicuro, affidarsi esclusivamente a volti generati dal computer è una scommessa rischiosa. I volti "finti" semplicemente non catturano la realtà disordinata e imprevedibile dei volti umani abbastanza bene da impostare le regole per il mondo reale. Per mantenere le frontiere sicure, dobbiamo testare i nostri sistemi su persone reali, non solo sui loro gemelli digitali, specialmente per la decisione finale.