LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

Immagina di cercare di insegnare a un robot come riconoscere un falso documento d'identità. Gli mostri mille foto di persone reali e mille foto di persone che tengono in mano foto stampate o riproducono video di volti su uno smartphone. Il robot diventa bravissimo a scovare i falsi in quella specifica stanza, sotto quella specifica luce, con quelle specifiche telecamere. Ma nel momento in cui porti il robot in una stanza diversa, cambi l'illuminazione o sostituisci la telecamera, il robot improvvisamente dimentica tutto e inizia a indovinare a caso. Questa è la frustrante realtà della "Face Presentation Attack Detection" (PAD - Rilevamento di Attacchi di Presentazione del Volto). È un ramo della visione artificiale dedicato a mantenere sicuri i sistemi di riconoscimento facciale da trucchi come foto, maschere o video riprodotti. Il grande sogno è costruire un rilevatore che funzioni ovunque, indipendentemente dalla telecamera o dall'illuminazione. Recentemente, gli scienziati hanno cercato di usare i "Foundation Models" — cervelli IA massicci e super intelligenti addestrati su miliardi di immagini e testi di internet — per risolvere il problema. La speranza era che questi cervelli giganti sapessero già così tanto del mondo da poter imparare facilmente a scovare i falsi con un briciolo di addestramento extra.

Questo articolo mette alla prova questa speranza con un esperimento massiccio. I ricercatori hanno preso 32 diversi tipi di questi cervelli IA giganti (inclusi i famosi CLIP e DINO) e hanno cercato di insegnare loro a scovare i falsi volti usando un trucco intelligente e leggero chiamato "LoRA". Pensa a LoRA come a mettere un piccolo collare di addestramento regolabile a un cane gigante: non riaddestri l'intero cane, devi solo modificare una minuscola frazione del suo cervello (meno dell'1%) per imparare un nuovo trucco. I risultati sono stati un misto di straordinario successo e di dura realtà. Quando l'IA veniva testata sugli stessi dati su cui era stata addestrata, diventava una superstar, scovando i falsi con un'accuratezza quasi perfetta (meno del 2% di errore). Tuttavia, quando i ricercatori chiedevano all'IA di scovare i falsi in un nuovo ambiente che non aveva mai visto prima, le prestazioni crollavano. Il tasso di errore balzava tra il 20% e il 43%, il che è poco meglio di lanciare una moneta. L'articolo conclude che, sebbene LoRA sia ottimo per rifinire un modello per un compito specifico, non è sufficiente a risolvere il problema più profondo di rendere l'IA capace di funzionare in mondi diversi. Il "cervello" del modello conta più della dimensione del modello, e i dati su cui è stato addestrato conta ancora di più.

La storia del robot intelligente e dei falsi scaltri

Entriamo nell'avventura. Gli scienziati hanno iniziato ponendo una domanda semplice: un briciolo di addestramento extra (LoRA) è sufficiente per rendere questi enormi cervelli IA abbastanza robusti da scovare i falsi volti ovunque?

Per scoprirlo, hanno organizzato un enorme torneo. Hanno raccolto 32 diversi "Vision Encoder" — questi sono gli occhi dell'IA, le parti che guardano effettivamente le immagini. Alcuni di questi occhi provenivano da modelli addestrati solo su immagini, mentre altri erano le "torri di visione" estratte da enormi "Vision-Language Models" (VLM), ovvero cervelli IA che possono vedere immagini e leggere testo contemporaneamente. Hanno anche testato 9 di questi enormi VLM in modalità "zero-shot". Lo "zero-shot" è come consegnare a uno studente un esame senza lasciargli studiare l'argomento prima; chiedi semplicemente: "Questo è un volto reale o un falso?" e vedi cosa risponde.

La sorpresa dello Zero-Shot
Per prima cosa, hanno provato l'approccio zero-shot. Hanno chiesto ai grandi VLM di scovare i falsi usando un semplice prompt, come un insegnante che pone una domanda. Il risultato? L'IA era completamente persa. Ha ottenuto un'accuratezza di circa il 50%, che è la stessa di indovinare "testa o croce" lanciando una moneta. Anche i modelli più intelligenti e costosi con miliardi di parametri non riuscivano a capire senza un addestramento specifico. Questo ha comunicato ai ricercatori che avere un cervello intelligente non è sufficiente; il cervello deve essere specificamente tarato per il compito di scovare i falsi.

La magia di LoRA (e i suoi limiti)
Successivamente, hanno provato il metodo LoRA. Hanno preso gli occhi congelati di questi 32 modelli e hanno aggiunto quei piccoli collari di addestramento regolabili. Li hanno addestrati su quattro diversi dataset (collezioni di foto di volti scattate con diverse telecamere e illuminazioni).

• La buona notizia: Quando hanno testato l'IA sullo stesso dataset da cui aveva imparato, è stato incredibile. La maggior parte dei modelli ha ridotto il proprio tasso di errore al di sotto del 2%. Alcuni, come il CLIP ViT-B/32, sono arrivati fino allo 0,3%. Era come se l'IA fosse diventata improvvisamente un maestro detective per quella specifica stanza.
• La cattiva notizia: Quando hanno spostato l'IA in un diverso dataset (una stanza diversa, una telecamera diversa), la magia è svanita. I tassi di errore sono schizzati tra il 19,8% e il 42,6%.

I ricercatori si sono resi conto che LoRA stava agendo come un sarto molto bravo. Poteva regolare perfettamente un abito per adattarlo a una persona specifica (un dataset) modificando pochi bottoni. Ma non poteva far sì che quell'abito vestisse una persona completamente diversa (un altro dataset) semplicemente regolando i bottoni. L'abito era ancora modellato per la prima persona.

La dimensione non conta (molto)
Una credenza comune nell'IA è che "più grande è meglio". I ricercatori hanno testato questo concetto confrontando modelli piccoli con modelli massicci. Hanno scoperto che un modello relativamente piccolo chiamato CLIP ViT-B/32 (con solo 0,09 miliardi di parametri) in realtà performava meglio di alcuni modelli massicci con oltre 8 miliardi di parametri. In effetti, il piccolo modello CLIP era uno dei migliori nel scovare i falsi attraverso diversi dataset, mentre un enorme modello chiamato InternViT-6B (con 5,54 miliardi di parametri) era uno dei peggiori nel colmare il divario tra i dataset.

Questo suggerisce che il tipo di addestramento che il modello ha ricevuto originariamente conta molto più di quanto sia grande. I modelli addestrati con metodi "contrastivi" (imparare a far corrispondere le immagini con le loro descrizioni testuali) o con "auto-distillazione" (imparare a essere coerenti con se stessi) funzionavano meglio di quelli addestrati solo per completare le parti mancanti di un'immagine.

La "Dieta dei Dati" conta
Il team ha anche osservato quanta data l'IA avesse mangiato durante il suo addestramento originale. Hanno scoperto che mangiare una dieta "web-scale" (miliardi di immagini da internet) era necessario per ottenere buoni risultati, ma mangiare più di così non aiutava molto. Una volta che un modello aveva visto abbastanza di internet, aggiungere altri dati non lo rendeva migliore nel scovare i falsi in nuovi contesti. Era come uno studente che ha letto tutti i libri della biblioteca; leggerne altri pochi non lo renderà improvvisamente un genio in un nuovo soggetto specifico.

L'indizio nascosto: La "Stanza" vs Il "Volto"
La scoperta più affascinante è arrivata guardando come l'IA "vedeva" le immagini. I ricercatori hanno usato una tecnica chiamata t-SNE per visualizzare i pensieri interni dell'IA. Hanno scoperto che, anche dopo l'addestramento LoRA, l'IA continuava a raggruppare le immagini in base a dove erano state scattate (il dataset) piuttosto che a cosa fossero (reale o falso).
Immaginate di cercare di smistare una pila di foto in "Persone Reali" e "Persone False". Ma l'IA continua a smistarle in "Foto scattate in Laboratorio" e "Foto scattate in Strada". L'addestramento LoRA l'ha aiutata a smistare perfettamente le foto del "Laboratorio", ma quando vedeva una foto della "Strada", si confondeva perché cercava ancora indizi del "Laboratorio". L'IA non aveva imparato il concetto universale di "volto falso"; aveva solo imparato a riconoscere le peculiarità specifiche di illuminazione e telecamera della stanza di addestramento.

Il Verdetto
L'articolo conclude che l'adattamento LoRA da solo non è sufficiente per risolvere il problema del rilevamento dei volti tra diversi dataset. Sebbene renda i modelli incredibilmente accurati nell'ambiente in cui sono stati addestrati, non riesce a renderli abbastanza robusti da gestire nuove telecamere, nuove luci o nuovi metodi di attacco. Il "punteggio di generalizzazione" (una nuova metrica inventata dagli autori per misurare quanto bene un modello funzioni in entrambi gli scenari) ha mostrato che anche i migliori modelli stavano ancora lottando per colmare il divario.

Gli autori suggeriscono che il problema non è la dimensione del modello o l'intelligenza del trucco LoRA. Il problema è che i modelli sono ancora troppo dipendenti dal "gusto" specifico dei dati su cui sono stati addestrati. Per risolvere davvero questo, potremmo dover cambiare il modo in cui addestriamo questi modelli fin dalle fondamenta, forse insegnando loro a ignorare la "stanza" e concentrarsi solo sul "volto", o usando diverse strategie di addestramento che costringano l'IA a imparare regole universali piuttosto che abitudini specifiche.

In breve, abbiamo costruito detective IA che sono brillanti nel loro distretto locale, ma si perdono non appena mettono piede fuori dalla porta. Il piccolo collare LoRA li aiuta a camminare un po' meglio, ma non fornisce loro una mappa per il resto del mondo.