ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
Dit artikel introduceert AdvSpot, de eerste gegronde adversariële OCR-benchmark, en stelt ArmorOCR voor, een tweestaps trainingsframework dat gebruikmaakt van observatie-overgedragen zelfdistillatie en groep-relatieve beleidsoptimalisatie om de robuustheid van grote multimodale modellen tegen adversariële visuele tekst aanzienlijk te vergroten, terwijl de algemene OCR-prestaties behouden blijven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een groeiende klasse van systemen bekend als grote multimodale modellen. Dit zijn krachtige computers die afbeeldingen kunnen zien en tekst daarin kunnen lezen, net zoals een mens naar een foto van een verkeersbord of een handgeschreven briefje kijkt. Jarenlang zijn deze systemen opmerkelijk goed geworden in het lezen van duidelijke, standaardtekst. Echter, er is een aanzienlijke kloof ontstaan tussen menselijk zicht en machinaal zicht. Mensen bezitten het intuïtieve vermogen om betekenis te begrijpen, zelfs wanneer tekst verborgen, vervormd of vermengd is met een complexe achtergrond. Wij kunnen kijken naar een patroon van stippen en onmiddellijk begrijpen welk woord ze vormen, of een zin lezen die in kleine letters op een drukke trui staat. De huidige kunstmatige intelligentie faalt daarentegen vaak bij deze specifieke taken. Het kijkt misschien naar dezelfde afbeelding en ziet alleen maar ruis, mist de tekst volledig, of focust op het verkeerde deel van het plaatje. Deze kwetsbaarheid is niet slechts een klein foutje; het onthult een fundamentele zwakte in hoe deze machines de visuele wereld waarnemen, waardoor ze niet in staat zijn om om te gaan met de rommelige, gemanipuleerde tekst die in de echte wereld wordt gevonden.
Onderzoekers proberen dit al lang te verhelpen door computers te leren "harder na te denken" over afbeeldingen, vaak door hen te vragen in te zoomen, bij te snijden of plaatjes te draaien om verborgen details te onthullen. Hoewel dit werkt, is het traag en vereist het extra stappen elke keer dat de computer naar een plaatje kijkt. Een nieuwe studie introduceert een andere aanpak, één die het model leert deze verborgen patronen direct te zien, zonder eerst de afbeelding te hoeven veranderen. Het team achter dit werk, onder leiding van Linhan Cao en collega's, creëerde eerst een nieuwe testomgeving genaamd AdvSpot. Dit is een collectie van 390 afbeeldingen die specifiek zijn ontworpen om kunstmatige intelligentie in de val te lokken. De afbeeldingen bevatten tekst die leesbaar is voor mensen maar uitdagend voor machines, georganiseerd in dertien verschillende soorten visuele trucs. Deze trucs variëren van tekst die gedraaid of gespiegeld is, tot woorden die verborgen zijn in complexe patronages, tot letters die lijken alsof ze met de hand zijn getekend of gegenereerd door andere kunstmatige systemen. De dataset is uniek omdat het de computer niet alleen vraagt het woord te raden; het vereist dat de computer precies aanwijst waar de tekst zich bevindt, deze leest en een vraag erover beantwoordt, wat ervoor zorgt dat de machine echt de juiste plek ziet en niet alleen gokt op basis van context.
Om het probleem van deze lastige afbeeldingen op te lossen, ontwikkelden de onderzoekers een nieuwe trainingsmethode genaamd ArmorOCR. Ze realiseerden zich dat hoewel een computer misschien moeite heeft met het zien van een woord in zijn oorspronkelijke vorm, hetzelfde woord gemakkelijk te lezen zou kunnen zijn als de afbeelding licht uitgerekt, gedraaid of van grootte veranderd zou worden. In plaats van de computer te vragen om deze transformaties uit te voeren elke keer dat hij naar een plaatje kijkt, leerden de onderzoekers het model om hiervan te leren tijdens de training. Ze zetten een tweestaps leerproces op. In de eerste stap gebruikten ze een "leraar"-model dat de afbeelding op veel verschillende, getransformeerde manieren kan zien. Dit leraar-model, dat het voordeel had om de tekst duidelijk te zien na de manipulatie van de afbeelding, zou een "student"-model begeleiden dat alleen de originele, moeilijke afbeelding ziet. De leraar gaf niet alleen het antwoord; hij liet de student zien hoe de verborgen tekst waargenomen moest worden door zijn interne begrip van de getransformeerde weergaven te delen. Dit stelde de student in staat om het vermogen te internaliseren om door de visuele trucs heen te kijken, zonder de trucs zelf ooit te hoeven zien tijdens de eigenlijke test.
De tweede stap van de training richtte zich op het verfijnen van hoe het model deze nieuwe vaardigheid gebruikt. De onderzoekers gaven het model specifieke beloningen voor het correct uitvoeren van verschillende onderdelen van de taak. Als het model het juiste gebied in de afbeelding succesvol aanwees, ontving het een beloning voor lokalisatie. Als het de tekst correct las, kreeg het een beloning voor herkenning. Als het alle verborgen tekst in één enkele afbeelding kon vinden en vragen erover kon beantwoorden, ontving het beloningen voor die taken even well. Door deze beloningen te combineren, leerde het model om al deze vaardigheden tegelijkertijd te balanceren. Het resultaat was een systeem dat naar een enkele, ongewijzigde afbeelding kon kijken en direct de tekst kon identificeren, lezen en verklaren die voorheen onzichtbaar was voor machines.
Wanneer getest op hun nieuwe benchmark, waren de resultaten opvallend. De meeste bestaande kunstmatige intelligentiemodellen, inclusief enkele van de grootste en meest geavanceerde die momenteel beschikbaar zijn, scoorden zeer slecht op de AdvSpot-test en faalden vaak in het herkennen van de tekst meer dan de helft van de tijd. Het nieuwe ArmorOCR-systeem presteerde echter aanzienlijk beter dan hen allen. Het verbeterde het vermogen om adversariële tekst te herkennen met een grote marge en behaalde de hoogste nauwkeurigheid in alle categorieën. Cruciaal was dat de onderzoekers ontdekten dat deze nieuwe training het model niet slechter maakte in het lezen van normale, duidelijke tekst. Het systeem bleef net zo goed in standaard leesopdrachten als voorheen, wat bewees dat het een nieuwe vaardigheid had geleerd zonder oude te verliezen. De studie suggereert dat door modellen te leren van getransformeerde weergaven tijdens de training, we kunstmatige intelligentie kunnen bouwen die veel robuuster en betrouwbaarder is wanneer zij geconfronteerd wordt met de complexe, gemanipuleerde visuele wereld waar mensen dagelijks door navigeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.