ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
Questo articolo introduce AdvSpot, il primo benchmark di OCR avversario con grounding, e propone ArmorOCR, un framework di addestramento in due fasi che sfrutta la distillazione di auto-osservazione trasferita e l'ottimizzazione della policy relativa al gruppo per migliorare significativamente la robustezza dei grandi modelli multimodali contro il testo visivo avversario, mantenendo al contempo le prestazioni OCR generali.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo dell'intelligenza artificiale, esiste una classe crescente di sistemi noti come grandi modelli multimodali. Questi sono potenti computer capaci di vedere immagini e leggere il testo in esse contenuto, molto simile a un essere umano che guarda la fotografia di un segnale stradale o di un appunto scritto a mano. Per anni, questi sistemi sono diventati straordinariamente bravi a leggere testi chiari e standard. Tuttavia, è emerso un significativo divario tra la visione umana e quella delle macchine. Gli esseri umani possiedono una capacità intuitiva di ricomporre il significato anche quando il testo è nascosto, distorto o fuso in uno sfondo complesso. Possiamo guardare un insieme di punti e comprendere istantaneamente la parola che formano, o leggere una frase scritta con caratteri minuscoli su una maglietta affollata. L'intelligenza artificiale attuale, al contrario, spesso fallisce in questi compiti specifici. Potrebbe guardare la stessa immagine e vedere solo rumore, mancare completamente il testo o concentrarsi sulla parte sbagliata del quadro. Questa vulnerabilità non è solo un piccolo intoppo; rivela una debolezza fondamentale nel modo in cui queste macchine percepiscono il mondo visivo, lasciandole incapaci di gestire il testo disordinato e manipolato che si trova nel mondo reale.
I ricercatori hanno cercato a lungo di risolvere il problema insegnando ai computer a "pensare" più intensamente alle immagini, spesso chiedendo loro di ingrandire, ritagliare o capovolgere le foto per rivelare dettagli nascosti. Sebbene questo funzioni, è un processo lento e richiede passaggi extra ogni volta che il computer guarda un'immagine. Un nuovo studio introduce un approccio diverso, uno che insegna al modello di vedere questi schemi nascosti istantaneamente, senza bisogno di modificare l'immagine in precedenza. Il team dietro questo lavoro, guidato da Linhan Cao e colleghi, ha creato per primo un nuovo campo di prova chiamato AdvSpot. Si tratta di una collezione di 390 immagini progettate specificamente per tendere un tranello all'intelligenza artificiale. Le immagini contengono testo leggibile dagli esseri umani ma impegnativo per le macchine, organizzato in tredici diversi tipi di trucchi visivi. Questi trucchi variano da testi ruotati o specchiati, a parole nascoste all'interno di schemi complessi, fino a lettere che sembrano disegnate a mano o generate da altri sistemi artificiali. Il dataset è unico perché non chiede solo al computer di indovinare la parola; richiede al computer di indicare esattamente dove si trova il testo, leggerlo e rispondere a una domanda su di esso, assicurando che la macchina stia vedendo davvero il punto giusto e non stia solo indovinando in base al contesto.
Per risolvere il problema di queste immagini difficili, i ricercatori hanno sviluppato un nuovo metodo di addestramento chiamato ArmorOCR. Si sono resi conto che, mentre un computer potrebbe faticare a vedere una parola nella sua forma originale, la stessa parola potrebbe essere facile da leggere se l'immagine venisse leggermente allungata, ruotata o ridimensionata. Invece di chiedere al computer di eseguire queste trasformazioni ogni volta che guarda un'immagine, i ricercatori hanno insegnato al modello di imparare da esse durante l'addestramento. Hanno impostato un processo di apprendimento in due fasi. Nella prima fase, hanno utilizzato un modello "insegnante" capace di vedere l'immagine in molti modi diversi e trasformati. Questo modello insegnante, che aveva il vantaggio di vedere il testo chiaramente dopo che l'immagine era stata manipolata, guidava un modello "studente" che vedeva solo l'immagine originale e difficile. L'insegnante non si limitava a dare la risposta; mostrava allo studente come percepire il testo nascosto condividendo la propria comprensione interna delle viste trasformate. Ciò ha permesso allo studente di interiorizzare la capacità di vedere attraverso i trucchi visivi senza mai aver bisogno di vedere i trucoli durante il test effettivo.
La seconda fase dell'addestramento si è concentrata sul perfezionamento di come il modello utilizza questa nuova capacità. I ricercatori hanno dato al modello ricompense specifiche per l'esecuzione corretta di diverse parti del compito. Se il modello indicava con successo l'area corretta dell'immagine, riceveva una ricompensa per la localizzazione. Se leggeva correttamente il testo, riceveva una ricompensa per il riconoscimento. Se riusciva a trovare tutto il testo nascosto in un'unica immagine e a rispondere alle domande su di esso, riceveva ricompense per tali compiti. Combinando queste ricompense, il modello ha imparato a bilanciare tutte queste abilità contemporaneamente. Il risultato è stato un sistema in grado di guardare un'unica immagine, non modificata, e identificare, leggere e spiegare istantaneamente un testo precedentemente invisibile alle macchine.
Quando testato sul loro nuovo benchmark, i risultati sono stati sorprendenti. La maggior parte dei modelli di intelligenza artificiale esistenti, inclusi alcuni dei più grandi e avanzati disponibili, ha ottenuto punteggi molto bassi nel test AdvSpot, fallendo spesso nel riconoscere il testo più della metà delle volte. Il nuovo sistema ArmorOCR, tuttavia, ha superato significativamente tutti loro. Ha migliorato la capacità di riconoscere il testo avversario di un ampio margine, raggiungendo la massima precisione in ogni ambito. Fondamentalmente, i ricercatori hanno scoperto che questo nuovo addestramento non rendeva il modello meno capace di leggere il testo normale e chiaro. Il sistema rimaneva altrettanto bravo nei compiti di lettura standard di quanto lo fosse prima, dimostrando che aveva appreso una nuova abilità senza perdere quelle vecchie. Lo studio suggerisce che, insegnando ai modelli di imparare dalle viste trasformate durante l'addestramento, possiamo costruire un'intelligenza artificiale molto più robusta e affidabile di fronte al complesso e manipolato mondo visivo che gli esseri umani navigano ogni giorno.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.