IMTBench: A Multi-Scenario Cross-Modal Collaborative Evaluation Benchmark for In-Image Machine Translation

Deze paper introduceert IMTBench, een nieuw benchmark voor in-beeld vertaling dat 2.500 realistische voorbeelden omvat en een uitgebreide, multimodale evaluatie mogelijk maakt om de huidige beperkingen van synthetische datasets en eendimensionale meetmethoden aan te pakken.

De kern

Stel je voor dat je een foto ziet van een Frans bordje in een Parijse straat, en je wilt dat die tekst in het Nederlands staat, maar dan precies op dezelfde plek, met hetzelfde lettertype, dezelfde kleur en dezelfde kromming, alsof het bordje oorspronkelijk in het Nederlands is gemaakt.

Dat is wat IMTBench probeert te meten en verbeteren. Het is een nieuwe "proef" voor computersystemen die beelden moeten vertalen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Klote" Vertaler

Vroeger deden computers dit in drie losse stappen, net als een slecht georganiseerd restaurant:

1. De Kijker (OCR): Een robot kijkt naar de foto en probeert de tekst te lezen.
2. De Vertaler: Een andere robot vertaalt die tekst.
3. De Schilder: Een derde robot probeert de nieuwe tekst weer in de foto te plakken.

Het probleem? Elke stap maakt foutjes. De vertaling is misschien goed, maar de letters zijn lelijk, de achtergrond is beschadigd, of de tekst staat scheef. Het is alsof je een foto van een taart hebt, de tekst "Aardbei" eruit snijdt, "Aardbei" in het Frans schrijft, en die dan met plakband op de taart plakt. Het ziet er niet uit als een echte taart meer.

2. De Oplossing: IMTBench (De Nieuwe Keuring)

De auteurs van dit paper hebben een nieuwe test ontwikkeld genaamd IMTBench. Denk hierbij aan een culinaire keuring voor een nieuwe generatie "Super-Chefs" (de moderne AI-modellen).

In plaats van alleen te kijken of de vertaling klopt, kijkt deze test naar vier dingen:

• De Vertaling: Is de tekst wel goed vertaald? (Net als smaken of het gerecht).
• De Achtergrond: Is de rest van de foto onaangetast? (Heeft de chef de taart niet beschadigd terwijl hij de tekst veranderde?).
• De Kwaliteit: Ziet het er natuurlijk uit? (Zit er geen rare vlekken of wazigheid op?).
• De Afstemming: Staat de tekst die de computer schrijft ook echt in de foto? (Soms zegt een AI "Ik heb 'Aardbei' vertaald", maar in de foto staat dan toch nog "Aardbei" of onleesbare klad).

3. De Testomgeving: Vier Werelden

De test is niet zomaar een paar plaatjes. Het is een multiverse van vier verschillende situaties:

• Documenten: Net als een officieel contract of een krant.
• Webpagina's: Online nieuws of blogs.
• Straatbeelden (Scenes): Lastige foto's met reclameborden, bomen op de achtergrond en schuine hoeken.
• Presentaties: Dia's met grafieken en tekst.

Ze hebben 2.500 foto's gebruikt in 9 verschillende talen (van Chinees tot Arabisch en Duits). Dit is alsof je een chef niet alleen laat koken in een rustige keuken, maar ook in een drukke, rommelige straathoek.

4. Wat Vonden Ze? (De Uitslag)

De onderzoekers hebben de oude "losse robots" (commerciële systemen) vergeleken met de nieuwe "Super-Chefs" (moderne AI-modellen die alles in één doen).

• De Oude Robots (Cascades): Deze zijn heel goed in gestructureerde dingen (zoals documenten). Ze plakken de tekst netjes neer, maar ze zijn traag en maken soms fouten in de vertaling.
• De Nieuwe Super-Chefs (AI): Deze zijn geweldig in het begrijpen van de sfeer en de achtergrond. Ze maken de foto er mooier uit. MAAR, ze hebben nog veel moeite met het precies neerzetten van de tekst. Soms vergeten ze de tekst, of staat hij scheef, of is het lettertype verkeerd.
• De Taal-uitdaging: Het werkt heel goed voor talen zoals Engels of Frans, maar bij lastige talen (zoals Arabisch of Russisch) haperen de systemen nog. Het is alsof de chef gewend is Italiaans te koken, maar als je hem vraagt om een Japans gerecht te maken, twijfelt hij over de kruiden.

Conclusie: Waarom is dit belangrijk?

IMTBench is als een standaard examen voor AI. Het zegt: "Niet alleen vertaal de tekst, maar zorg dat de foto er nog echt uitziet."

Het laat zien dat we nog een lange weg te gaan hebben voordat computers perfect beelden kunnen vertalen. Maar met deze nieuwe test weten we precies waar de zwakke plekken zitten, zodat de ontwikkelaars die kunnen oplossen. Het is de eerste stap naar AI die niet alleen slim is, maar ook artistiek en nauwkeurig werkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "IMTBench: A Multi-Scenario Cross-Modal Collaborative Evaluation Benchmark for In-Image Machine Translation" in het Nederlands.

Probleemstelling

End-to-end In-Image Machine Translation (IIMT) heeft als doel tekst die in een afbeelding is ingebed, te vertalen naar een doeltaal, terwijl de originele visuele context, lay-out en het renderingsstijl (lettertype, kleur, grootte, oriëntatie) behouden blijven. Dit is een fundamenteel kruismodaliteit-probleem: een succesvol systeem moet niet alleen een correcte tekstuele vertaling genereren, maar deze ook visueel coherent en lay-out-trouw terugplaatsen in de afbeelding.

De huidige uitdagingen zijn:

1. Gebrek aan realisme: Bestaande benchmarks (zoals SegPixel, IIMT30k) zijn grotendeels synthetisch, gebruiken vereenvoudigde lay-outs (enkele regels, horizontaal, monochroom) en vertegenwoordigen niet de complexiteit van de echte wereld (bijv. rommelige achtergronden, gemengde lettertypes, niet-horizontale tekst).
2. Onvolledige evaluatie: Huidige evaluatieprotocollen focussen voornamelijk op single-modality metrics (zoals BLEU of COMET voor tekst) en negeren de "cross-modal faithfulness". Ze meten niet of de gerenderde tekst in de afbeelding consistent is met de gegenereerde tekstuele output van het model.
3. Beperkte dekking: Er is weinig ondersteuning voor meertalige evaluatie en diverse domeinen (documenten, webpagina's, natuurlijke scènes, presentaties).

Methodologie: IMTBench

Om deze lacunes op te vullen, stellen de auteurs IMTBench voor, een nieuw benchmark van 2.500 hoogwaardige beeld-vertalingste exemplaren.

1. Datascollectie en Constructie
Het dataset wordt opgebouwd via drie complementaire pijplijnen die verschillende real-world scenario's bestrijken:

• Documenten & Webpagina's: Gebruikmakend van meertalige parallelle corpora. De tekst wordt vertaald en vervolgens gerenderd in realistische typografische structuren (rapporten, formulieren) of HTML-webpagina's.
• Natuurlijke Scènes: Focus op afbeeldingen met ingebedde tekst in complexe achtergronden. OCR wordt gebruikt om tekstgebieden te extraheren, waarna multi-modale vertaalmodellen de tekst vertalen met rekening houdend met de visuele context. Image-editing modellen (zoals GPT-Image) worden gebruikt om de tekst te vervangen terwijl perspectief en achtergrond behouden blijven.
• PowerPoint: Vertaling van presentatiedia's waarbij zowel tekstuele als visuele elementen (grafieken) consistent blijven.

Het dataset omvat 9 talen (waaronder Arabisch, Chinees, Russisch, Japans en diverse Latijnse talen) en verdeelt de data over vier scenario's: Documenten (800), Web (800), Scènes (400) en PPT (500).

2. Evaluatieprotocollen
IMTBench introduceert een uitgebreide evaluatiesuite die IIMT beoordeelt vanuit vier complementaire perspectieven:

• Vertaalkwaliteit (Translation Quality): Gemeten met COMET in plaats van BLEU, omdat COMET beter correleert met menselijke beoordelingen en semantische adequaatheid en vloeiendheid in meertalige contexten vastlegt.
• Achtergrondbehoud (Background Preservation): Gebruikmakend van een gemaskerde variant van LPIPS (Mask-LPIPS). Dit meet de perceptuele gelijkenis uitsluitend op de niet-tekstgebieden om te waarborgen dat de achtergrond niet onnodig is vervormd.
• Visuele Renderkwaliteit (Visual Rendering Quality): Beoordeeld met Perceptual Quality (PQ) metrics (geïnspireerd door GEdit), die natuurlijkeheid en de afwezigheid van artefacten (zoals slechte belichting of vervorming) meten.
• Kruismodaliteit Consistentie (Cross-Modal Alignment): Een unieke metric, de Alignment Score, die meet of de tekst die in de afbeelding is gerenderd, semantisch overeenkomt met de tekstuele output van het model. Dit wordt gedaan met een Multi-Modal Large Language Model (MLLM) als automatische judge.

De uiteindelijke score is een gewogen gemiddelde van deze vier componenten.

Belangrijkste Bijdragen

1. IMTBench Dataset: Een realistische, meertalige benchmark met 2.500 voorbeelden die complexe lay-outs en diverse renderingstijlen dekt, in tegenstelling tot de synthetische data van eerdere werken.
2. Holistische Evaluatie: Een protocol dat vertaalkwaliteit combineert met visuele integriteit en kruismodaliteit-consistentie, waardoor een diagnose mogelijk is van specifieke fouten (bijv. goede vertaling maar slechte rendering).
3. Uitgebreide Benchmarking: Een systematische evaluatie van drie categorieën modellen: commerciële cascade-systemen (OCR + MT + Rendering), gesloten Unified Multi-modal Models (UMM's) en open-source UMM's.

Resultaten

De auteurs hebben diverse modellen getest, waaronder commerciële API's (Tencent, Youdao), gesloten UMM's (GPT-Image-1, Gemini) en open-source UMM's (Qwen-Image, Janus-Pro, Bagel, UniWorld).

• Commerciële Cascade-systemen: Presteren het meest stabiel, vooral op gestructureerde data (Documenten, Web, PPT). Ze behalen hoge scores op Alignment en Achtergrondbehoud, wat aangeeft dat het opsplitsen van de taak in gespecialiseerde modules (OCR, vertalen, renderen) nog steeds superieur is voor precieze lay-outbehoud en tekstplaatsing.
• Propriëtaire UMM's (bijv. GPT-Image): Tonen sterke prestaties op Visuele Kwaliteit en Vertaalkwaliteit (semantisch), vooral in complexe scènes met rommelige achtergronden. Ze behouden echter vaak de lay-out niet perfect, wat resulteert in lagere Alignment Scores vergeleken met cascade-systemen. Ze worstelen met het nauwkeurig "grounden" van tekst in specifieke gebieden.
• Open-source UMM's: Vertonen over het algemeen grotere prestatiekloven. Hoewel ze redelijke vertaalkwaliteit kunnen leveren in gestructureerde omgevingen, falen ze vaak op Alignment en Visuele Kwaliteit, wat wijst op beperkingen in gecontroleerde tekstbewerking en instructie-gevolgzaamheid.
• Taal- en Scenarioverschillen:
  • Scenarios: UMM's doen het beter in complexe scènes (natuurlijke omgevingen), terwijl cascade-systemen beter zijn in lay-out-gevoelige scenario's (documenten, PPT).
  • Talen: Er is een merkbare daling in prestaties voor talen met minder trainingsbronnen (zoals Arabisch, Russisch, Japans), vooral tijdens de generatiefase. Dit suggereert dat het probleem meer ligt bij het genereren van visueel coherente tekst dan bij het begrijpen van de invoer.

Betekenis en Conclusie

IMTBench markeert een belangrijke stap in de evolutie van In-Image Machine Translation. Het paper demonstreert dat hoewel Unified Multi-modal Models (UMM's) veelbelovend zijn voor het behoud van visuele coherentie, ze nog niet klaar zijn voor de praktijk in complexe, lay-out-gevoelige scenario's of voor talen met beperkte bronnen.

De belangrijkste conclusie is dat end-to-end IIMT nog een open probleem is. Er is substantieel "headroom" voor verbetering, vooral in de ontwikkeling van modellen die zowel multilinguale vertaalkracht als controleerbare, typografie-trouwe tekstbewerking kunnen combineren. IMTBench dient als een gestandaardiseerde testomgeving om deze vooruitgang te versnellen en een gemeenschappelijke basis te bieden voor het vergelijken van toekomstige modellen.