LëtzCross: A Cross-Lingual Page-Level Benchmark for Multimodal Retrieval over Luxembourgish Documents

In de moderne digitale wereld bestaan enorme bibliotheken aan informatie niet als nette rijen tekst, maar als complexe visuele documenten: PDF's vol met grafieken, diagrammen, tabellen en verspreide lay-outs. Om specifieke antwoorden binnen deze bestanden te vinden, vertrouwden computers traditioneel op een tweestaps-proces. Eerst zou een systeem de afbeelding van een pagina scannen en proberen elk woord te lezen, waarbij de visuele inkt wordt omgezet in digitale tekst. Daarna zou het die tekst doorzoeken op trefwoorden. Deze methode werkt goed voor eenvoudige documenten, maar het struikelt vaak wanneer het antwoord in de vorm van een grafiek ligt of in de ordening van een tabel, of wanneer het document is geschreven in een taal die de computer niet goed kent. Deze uitdaging wordt nog moeilijker wanneer een gebruiker een vraag stelt in één taal, zoals Engels, maar het document dat ze nodig hebben in een zeldzame of minder ondersteunde taal is geschreven, zoals het Luxemburgs. Onderzoekers verkennen nu een andere aanpak: computers leren om de documentpagina als een geheel beeld te bekijken, waarbij ze tegelijkertijd het verband tussen de woorden en de visuele lay-out begrijpen, in plaats van alleen de woorden te lezen.

Een team onderzoekers aan de Universiteit van Luxemburg besloot dit idee te testen met een specifieke, moeilijke casus: het Luxemburgs. Dit is een taal die door een kleine populatie wordt gesproken en waar zeer weinig digitale bronnen beschikbaar zijn waar computers van kunnen leren. Om te bestuderen hoe goed moderne systemen hiermee om konden gaan, creëerde het team een nieuwe testomgeving genaamd L¨etzCross. Ze verzamelden honderden echte Luxemburgse PDF-documenten, variërend van tekstzware rapporten tot pagina's die rijk zijn aan visuele gegevens zoals grafieken en tabellen. Vervolgens stelden ze een reeks vragen op die een mens zou kunnen stellen over deze pagina's. Sommige vragen vereisten het lezen van de tekst, terwijl andere vereisten dat er naar een grafiek of een diagram werd gekeken om het antwoord te vinden. Cruciaal was dat deze vragen in vier verschillende talen waren geschreven: Engels, Frans, Duits en Luxemburgs. Deze opzet stelde de onderzoekers in staat om te zien of een computer een Luxemburgse document kon bekijken en de juiste pagina kon vinden wanneer er een vraag werd gesteld in een totaal andere taal.

De onderzoekers testten twee hoofdtypen computersystemen tegen deze nieuwe benchmark. De eerste groep vertrouwde op de traditionele methode: ze gebruikten software om de tekst uit de PDF-afbeeldingen te extraheren en doorzochten vervolgens die tekst. De tweede groep gebruikte een niever type systeem dat de afbeeldingen van de pagina's direct bekijkt, waarbij de visuele lay-out en de tekst als één enkel, verenigd stuk informatie worden behandeld. Toen de onderzoekers de resultaten vergeleken, presteerden de systemen die naar de afbeeldingen als geheel keken aanzienlijk beter. Ze vonden de juiste pagina's vaker dan de tekst-alleen systemen, ongeacht in welke taal de vraag werd gesteld. De op afbeeldingen gebaseerde systemen waren bijzonder goed in het beantwoorden van vragen die een begrip van visuele elementen vereisten, zoals het aflezen van een specifieke waarde uit een staafdiagram, waar de tekst-alleen systemen vaak faalden omdat ze de structuur van de gegevens niet konden "zien".

Om deze systemen nog beter te maken, experimenteerden de onderzoekers met een proces genaamd fine-tuning. Dit is vergelijkbaar met het geven van extra oefentoetsen aan een student in een specifiek vakgebied om hun vaardigheden aan te scherpen. Ze trainden de op afbeeldingen gebaseerde systemen met vragen geschreven in slechts één taal tegelijk, en ook in een mix van alle vier de talen. Ze ontdekten dat het trainen van het systeem met vragen in het Frans de computer hielp om Luxemburgse vragen beter te beantwoorden dan het trainen met Duitse of Engelse vragen. De meest effectieve aanpak was echter het trainen van het systeem met een mix van alle vier de talen, inclusief het Luxemburgs zelf. Wanneer het systeem tijdens de training voorbeelden zag van vragen in het Luxemburgs, verbeterde het vermogen om antwoorden in Luxemburgse documenten te vinden aanzienlijk. Dit suggereert dat hoewel een systeem kan leren om zijn begrip over talen heen te vertalen, het direct zien van de doeltaal helpt om de kennis af te stemmen op de specifieke documenten die het moet doorzoeken.

De studie onderzocht ook hoe deze systemen omgaan met het visuele deel van het document. Ze testten of het bijwerken van het vermogen van het systeem om de afbeelding te "zien", naast het vermogen om de tekst te "lezen", een verschil maakte. Ze vonden dat systemen die zowel hun visuele als hun tekstuele begrip mochten aanpassen, beter presteerden dan die welke alleen hun tekstverwerking aanpasten. Dit bevestigt dat voor documenten waar de lay-out en graphics belangrijke informatie bevatten, de computer de afbeelding als een geheel moet verwerken, en niet alleen de woorden erin. Hoewel de tekst-alleen systemen in sommige gevallen sneller klaar waren voor gebruik, boden de op afbeeldingen gebaseerde systemen een betrouwbaardere manier om informatie te halen uit complexe, visueel rijke documenten, vooral bij het werken met een taal die beperkte digitale ondersteuning heeft.

Dit werk biedt een duidelijke demonstratie dat voor talen met weinig middelen en complexe documenten, kijken naar het plaatje vaak effectiever is dan alleen de tekst lezen. De onderzoekers ontdekten dat moderne systemen die zowel woorden als afbeeldingen kunnen begrijpen, de kloof tussen verschillende talen succesvoller kunnen overbruggen dan oudere methoden. Door aan te tonen dat trainen op een mix van talen, inclusie de doeltaal zelf, de beste resultaten oplevert, biedt de studie een praktisch pad vooruit voor het bouwen van zoekinstrumenten die voor iedereen werken, en niet alleen voor sprekers van grote wereldtalen. De bevindingen suggereren dat naarmate we bewegen naar meer visuele en meertalige informatieomgevingen, de toekomst van zoeken ligt bij systemen die in staat zijn om het document in zijn geheel te zien en te begrijpen.