BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
Dit artikel introduceert BEAR-Bench, een tweetalige (Engels-Russisch) benchmark van 1.000 door mensen geannoteerde vragen gebaseerd op tekstrijke bedrijfs- en academische documenten om de complexe redeneercapaciteiten en de betrouwbaarheid van hallucinatiedetectie van multimodale grote taalmodellen te evalueren, waarbij significante prestatiekloven worden onthuld, zelfs tussen state-of-the-art systemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld zijn computers bijzonder goed geworden in het bekijken van afbeeldingen en het lezen van de woorden daarin. Als je een machine een foto van een verkeersbord laat zien, kan deze vertellen wat er op het bord staat. Als je een grafiek uit een nieuwsbericht laat zien, kan de machine vaak de trend beschrijven die de lijn maakt. Deze vaardigheid, bekend als multimodale begrip, combineert visie en taal tot één enkele vaardigheid. Lange tijd was de uitdaging simpelweg om de machine de tekst duidelijk te laten lezen. Maar de volgende, moeilijkere stap is redeneren. Dit is het vermogen om naar een complex document te kijken, verschillende verschillende stukjes informatie te vinden die verspreid over een pagina staan, en ze met elkaar te verbinden om een vraag te beantwoorden die nergenders in de tekst geschreven staat. Stel je een financieel rapport voor vol tabellen, grafieken en paragrafen tekst. Een menselijke expert kan een getal in een tabel bekijken, dit vergelijken met een trend in een grafiek, en vervolgens een zin in de tekst lezen om te begrijpen waarom die cijfers zijn veranderd. Een computer leren om hetzelfde soort denken te doen, vooral wanneer het document dichtbevolkt is met informatie en in talen andere dan het Engels is geschreven, is een moeilijke grens gebleven.
Een team onderzoekers van Yandex en het Applied AI Institute heeft een belangrijke stap gezet richting het oplossen van dit probleem door een nieuwe test te creëren die specifelijk is ontworpen voor dit soort complex denken. Ze noemen hun creatie BEAR-Bench. In tegenstelling tot eerdere tests die zich richtten op simpel lezen of vereisten dat de computer externe feiten kende, vraagt deze nieuwe benchmark machines om problemen op te lossen met uitsluitend de informatie die aanwezig is op een enkele pagina van een document. De test is tweetalig, met zowel Engels als Russisch, een keuze die een gat in de huidige technologie benadrukt waar machines vaak moeite hebben met talen andere dan Engels en Chinees. De onderzoekers verzamelden duizend echte documenten, variërend van bedrijfsfinanciële rapporten en investeerderspresentaties tot academische wetenschappelijke artikelen. Deze pagina's zijn niet eenvoudig; ze zijn vol tekst, tabellen, grafieken, diagrammen en wiskundige formules.
Om deze test op te bouwen, vroegen de onderzoekers computers niet alleen om vragen te genereren. Ze huurden dertien menselijke experts in, elk met een diploma in een technisch vakgebied, om de vragen en antwoorden met de hand te schrijven. Voor elke enkele pagina-afbeelding moest een expert een vraag maken die meerdere stappen vereiste om op te lossen. Bijvoorbeeld, een vraag zou de computer kunnen vragen om een specifieke waarde in een tabel te vinden, naar een gerelateerde grafiek te kijken om te zien hoe die waarde in de loop van de tijd is veranderd, en vervolgens een zin in de tekst te lezen om de reden voor die verandering uit te leggen. De computer mocht geen enkele externe kennis gebruiken; hij moest het antwoord volledig vinden binnen de verstrekte afbeelding. Dit zorgde ervoor dat de test het vermogen van de machine mat om te redeneren met het document dat voor hem lag, in plaats van zijn vermogen om feiten van het internet te onthouden. De onderzoekers filterden de documenten ook zorgvuldig om ervoor te zorgen dat ze voldoende visuele complexiteit bevatten, zoals diagrammen en vergelijkingen, om de taak uitdagend te maken.
Toen de onderzoekers zestien verschillende kunstmatige intelligentie-modellen door deze test haalden, gaven de resultaten een duidelijk beeld van waar de technologie vandaag de dag staat. De best presterende modellen, de meest geavanceerde systemen die momenteel beschikbaar zijn, slaagden erin om ongeveer vijfenzeventig procent van de vragen correct te beantwoorden. Hoewel dit indrukwekkend mag klinken, betekent het ook dat zelfs de slimste machines nog steeds fouten maken op ongeveer één van de vier vragen. De studie vond dat deze modellen merkbaar slechter presteren wanneer de documenten in het Russisch zijn vergeleken met het Engels, wat bevestigt dat taal een aanzienlijke hindernis blijft. Bovendien deed het type document er toe; modellen hadden de neiging meer moeite te hebben met zakelijke rapporten dan met wetenschappelijke artikelen, en ze hadden bijzondere problemen wanneer de vragen hen vereisten om objecten te tellen of informatie uit verschillende delen van een pagina te combineren.
De onderzoekers keken ook nauwgezet naar waarom de machines faalden. Ze ontdekten dat de meest voorkomende fouten niet te wijten waren aan een gebrek aan logica, maar aan eenvoudige perceptieproblemen. De computers lazen vaak een getal in een tabel verkeerd, merkten een specifiek label op een grafiek niet op, of raakten in de war over waar een pijl naartoe wees in een diagram. Zodra de machine één visueel detail verkeerd las, viel de rest van zijn redenering uit elkaar. Dit suggereert dat voordat deze systemen echte experts kunnen worden in het analyseren van documenten, ze veel beter moeten worden in het helder zien van de kleine details.
Naast het testen van de modellen, gebruikten de onderzoekers de resultaten om te zien of er een manier is om te bepalen wanneer een machine een fout maakt. In veel reële situaties is het niet genoeg om te weten dat een computer het mis kan hebben; je hebt een manier nodig om die fout te detecteren voordat het schade veroorzaakt. Het team testte verschillende methoden om deze fouten op te sporen. Ze ontdekten dat voor de gesloten, propriëtaire systemen waarbij ze de interne werking niet konden zien, de beste manier om een fout te detecteren was om een ander krachtig AI-model te gebruiken om als rechter op te treden en het antwoord te controleren. Voor de open systemen waarbij ze in de code konden kijken, ontdekten ze dat het controleren van de eigen interne vertrouwenssignalen van de computer goed werkte voor korte antwoorden, maar moeite had wanneer de computer zeer lange, gedetailleerde verklaringen produceerde. De studie concludeert dat hoewel we vooruitgang boeken, we nog steeds niet over een perfecte manier beschikken om elke fout te vangen, en dat de beste systemen nog steeds veel ruimte laten voor verbetering.
Dit werk is belangrijk omdat het het gesprek verplaatst voorbij simpel lezen. Het laat zien dat hoewel machines tekst kunnen lezen, ze nog steeds aan het leren zijn hoe ze erover kunnen nadenken. Door een test te creëren die moeilijk, tweetalig en gericht is op echte documenten, hebben de onderzoekers een duidelijke kaart geleverd van waar de technologie sterk is en waar zij zwak is. Ze hebben aangetoond dat de weg vooruit niet alleen grotere modellen vereist, maar betere manieren om de rommelige, gedetailleerde realiteit van professionele documenten in meerdere talen te hanteren. Totdat machines betrouwbaar een grafiek kunnen lezen, deze kunnen kruisverwijzen met een tabel, en de verbinding kunnen uitleggen zonder de controle over de details te verliezen, zal hun gebruik in hoogwaardige velden zoals financiën en wetenschap nauwlettend menselijk toezicht vereisen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.