Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de enige aanwijzingen die je hebt een reeks kleurrijke tekeningen zijn. Deze tekeningen zijn staafdiagrammen, het soort dat je ziet in nieuwsartikelen of schoolrapporten, waarbij staven van verschillende hoogtes een verhaal vertellen over getallen. Voor mensen is het lezen hiervan gemakkelijk; we kijken simpelweg naar de hoogte van een staaf en raden het getal. Maar voor een computer is een grafiek slechts een plaatje gemaakt van pixels. Een computer weet niet dat een hoge blauwe rechthoek "500 dollar" betekent of dat een klein streepje aan de zijkant "100" betekent. Voor een machine is de data verborgen in de kunst.

Dit is waar een vakgebied genaamd "computer vision" (computervisie) om de hoek komt kijken. Het is de tak van de wetenschap die computers leert om te "zien" en afbeeldingen te begrijpen. Meestal, om een computer te leren een grafiek te lezen, moet je hem duizenden voorbeelden laten zien waarbij een mens al de antwoorden heeft opgeschreven. Dit is alsof je een leraar hebt die naast de computer zit voor urenlang, naar elke staaf wijst en zegt: "Dit is 50, dit is 100." Maar in de echte wereld is het ontzettend moeilijk en traag om duizenden grafieken te vinden met perfecte antwoorden erbij geschreven. Het is als het zoeken naar een naald in een hooiberg, behalve dat de hooiberg van papier is gemaakt en de naalden ontbreken. Dit artikel onderzoekt een slimme nieuwe manier om computers te leren deze grafieken te lezen zonder dat er eerst een menselijke leraar nodig is om elk enkel voorbeeld te labelen.

De onderzoekers achter deze studie, Poonam Poonam en haar team van de Universiteit van Ulm in Duitsland, wilden het probleem van "chart de-rendering" oplossen. Dat is een chique manier om te zeggen: "een foto van een grafiek nemen en deze terugveranderen in de ruwe getallen waaruit deze voortkwam." Ze merkten op dat hoewel computers geweldig zijn in het herkennen van katten of auto's, ze moeite hebben met de specifieke geometrie van grafieken, vooral wanneer de grafieken er verschillend van grootte uitzien of een rommelige achtergrond hebben.

Om dit aan te pakken, gebruikten ze een speciaal soort AI-architectuur genaamd JEPA (Joint-Embedding Predictive Architecture). Denk erover na dat JEPA niet een student is die antwoorden uit het hoofd leert, maar een nieuwsgierige ontdekkingsreiziger die leert door een raadspelletje te spelen. In plaats van te horen "deze staaf is 50", krijgt de AI een afbeelding van een grafiek waarbij een groot deel ervan is afgedekt (gemaskeerd). De AI moet raden hoe het verborgen deel eruitziet op basis van de zichtbare delen. Door dit spelletje keer op keer te spelen met miljoenen grafieken, leert de AI de "regels" van hoe grafieken werken—hoe staven zich verhouden tot streepjes, hoe assen worden getekend, en wat een "staaf" eigenlijk is in een diepe, wiskundige zin. Dit wordt "self-supervised learning" (zelfgestuurd leren) genoemd, omdat de computer zichzelf onderwijst met behulp van de patronen die hij in de data vindt, in plaats van te wachten tot een mens hem een tekstboek geeft.

Het team bouwde een pijplijn die ze "Bar-JEPA" noemen. Eerst trainden ze deze AI-ontdekkingsreiziger op een enorme bibliotheek van 100.000 door de computer gegenereerde staafdiagrammen. Ze gebruikten niet alleen standaard afbeeldingen; ze pasten de AI aan om grafieken van allerlei verschillende vormen en maten aan te kunnen, zodat de AI niet in de war zou raken als een grafiek hoog en smal of kort en breed was. Zodra de AI de "taal" van grafieken had geleerd, koppelden ze er een eenvoudige, lichtgewicht "decoder" aan vast. De taak van deze decoder is om naar het begrip van de AI te kijken en precies aan te geven waar de staven en de getallen zich bevinden.

De resultaten waren zeer veelbelovend. Wanneer ze hun systeem testten op echte grafieken (het soort dat je in een krant zou vinden), was de AI die via dit zelfgestuurde raadspelletje had geleerd, veel beter in het vinden van de staven en het lezen van de getallen dan een standaard AI die niet op deze manier was getraind. Sterker nog, zonder deze speciale training was de computer bijna volledig de weg kwijt en slaagde hij er niet in om ook maar enige waarden te vinden. Met de JEPA-training kon hij de data met een veel hogere nauwkeurigheid herstellen. Het artikel suggereert dat deze methode een sterke, efficiënte manier is om computers grafieken te laten begrijpen, vooral wanneer je niet beschikt over een enorme stapel vooraf gelabelde gegevens.

De auteurs zijn echter voorzichtig om niet te beweren dat dit de definitieve, perfecte oplossing is. Ze geven toe dat hun systeem nog een beetje simpel is; het kan alleen verticale staafdiagrammen lezen en heeft moeite met complexere types zoals gestapelde staven of 3D-grafieken. Het is ook nog niet het absoluut beste systeem ter wereld, maar het bewijst dat het eerst leren "raden" van de structuur van een grafiek een krachtige truc is. Ze suggeren dat deze slimme "ontdekkingsreiziger"-AI in de toekomst gekoppeld kan worden aan nog krachtigere tools, zoals grote taalmodellen, om niet alleen de getallen te lezen, maar ook vragen over de data te beantwoorden, zoals "Welke staaf is de grootste?" of "Wat is het totaal?". Voor nu laat Bar-JEPA ons echter zien dat soms de beste manier om een computer te leren zien, is door hem het puzzelstukje zelf uit te laten zoeken.