Global-Local Dual Perception for MLLMs in High-Resolution Text-Rich Image Translation

Dit artikel introduceert GLoTran, een raamwerk voor MLLM's dat globale en lokale visuele perceptie combineert om vertalingen in tekstrijke, hoogresolutie afbeeldingen te verbeteren, ondersteund door een nieuw groot dataset genaamd GLoD.

De kern

Stel je voor dat je een heel groot, drukke poster ziet, vol met kleine letters, grote koppen, foto's en versieringen. Je wilt deze poster vertalen van Engels naar het Nederlands.

Vroeger hadden computers hier twee manieren voor, maar beide hadden grote problemen:

1. De "Eerst lezen, dan vertalen" methode: De computer probeerde eerst alle tekst eruit te halen (zoals een scanner) en vertaalde die daarna. Maar als de scanner één woord mistte of verkeerd las, was de hele vertaling fout.
2. De "Kijk alles in één keer" methode: De computer keek naar het hele plaatje en probeerde het direct te vertalen. Het probleem? Als het plaatje te groot en druk is, raakt de computer in de war. Hij ziet de tekst niet meer goed, vergeet zinnen of verzint dingen die er niet staan (hallucinaties).

De oplossing: GLoTran (De Slimme Vertaler)

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd GLoTran. Ze gebruiken een slimme truc die ze "Globaal-Lokaal Dubbel Zien" noemen. Hier is hoe het werkt, in gewone taal:

1. De Twee Ogen van de Computer

Stel je voor dat de computer twee verschillende brillen heeft die hij tegelijkertijd gebruikt:

• Bril 1: De Verrekijker (Het Globale Beeld)
  De computer kijkt naar het hele plaatje, maar dan een beetje wazig en klein (zoals een verkleind voorbeeld). Hiermee ziet hij de grote lijn: Waar staat de titel? Wat is de sfeer? Is het een menukaart of een krant? Dit helpt de computer om de context te begrijpen, zodat hij niet zomaar woorden uit de lucht plukt.
• Bril 2: De Loupe (De Lokale Slierten)
  Vervolgens knipt de computer het plaatje in stukjes, precies waar de tekst zit. Hij vergroot deze stukjes enorm op (zoals met een loupe). Hiermee kan hij de kleine details zien: de letters, de spelling en de specifieke zinnen, zonder afgeleid te worden door de achtergrond.

2. De Regisseur in het Hoofd

De computer doet niet zomaar alles door elkaar. Hij werkt als een slimme regisseur:

• Hij kijkt eerst naar het kleine stukje tekst (de loupe) om te zien wat er staat.
• Maar voordat hij gaat vertalen, kijkt hij even naar het wazige grote plaatje (de verrekijker) om te vragen: "Hoe past dit woord in de rest van de zin?"
• Hij vertaalt stukje voor stukje, maar onthoudt wat hij net heeft vertaald, zodat de hele tekst logisch blijft.

Een analogie uit het dagelijks leven:
Stel je voor dat je een hele lange, rommelige brief moet vertalen die op een bureau ligt, omringd door koffiebekers en krantenknipsels.

• Een oude computer zou proberen de hele tafel in één keer te scannen en zou waarschijnlijk de koffiebespatten met de tekst verwarren.
• Een andere computer zou proberen alleen naar de letters te kijken, maar zou vergeten dat de zin eigenlijk over een feestje gaat, omdat hij de rest van de brief niet zag.
• GLoTran is als een vertaler die eerst even rondkijkt op het bureau om de sfeer te snappen (globaal), en dan met een vergrootglas stukje voor stukje de brief leest, terwijl hij steeds even terugkijkt naar de rest van de brief om zeker te weten dat het verhaal klopt.

Waarom is dit belangrijk?

De auteurs hebben niet alleen de slimme computer bedacht, maar ook een enorme oefenboeken (een dataset genaamd GLoD) gemaakt met 510.000 voorbeelden van zulke drukke plaatjes. Hierdoor heeft de computer geleerd hoe hij moet omgaan met rommelige achtergronden, rare lettertypes en handgeschreven tekst.

Het resultaat:
De computer maakt veel minder fouten. Hij vergeet geen zinnen meer, vertaalt de juiste woorden en houdt het verhaal consistent, zelfs als het plaatje heel groot en druk is. Het is alsof je een vertaler hebt die nooit moe wordt en altijd precies weet wat hij moet doen, of het nu een simpele kaart of een complexe poster is.

Technische samenvatting

Titel: Global-Local Dual Perception voor MLLM's bij het Vertalen van Hoogresolutie Beelden met Veel Tekst

1. Het Probleem

Text Image Machine Translation (TIMT) richt zich op het vertalen van tekst die in afbeeldingen is ingebed. Bestaande methoden, variërend van cascade-pipelines (OCR gevolgd door vertaling) tot end-to-end Multimodal Large Language Models (MLLM's), stuiten op ernstige beperkingen bij hoogresolutie afbeeldingen met veel tekst (zoals posters, menu's, documenten en screenshots).

De belangrijkste uitdagingen zijn:

• Visuele Ruis en Complexiteit: Dichte tekst, rommelige achtergronden, diverse lettertypes en niet-tekstuele elementen leiden tot afleiding voor het model.
• Beperkingen van MLLM's: Wanneer MLLM's direct worden ingevoerd met hoge resolutie, ontstaat er een superlineaire toename in computationele kosten en visuele tokens. Dit zorgt voor een verspreide aandacht, wat resulteert in:
  • Omissies: Het missen van kleine of verspreide tekstdelen.
  • Semantische Afdwaling (Drift): Het verlies van contextuele samenhang tussen verschillende tekstgebieden.
  • Hallucinaties: Het genereren van tekst die niet in de afbeelding staat.
• Schalingsproblemen: Het simpelweg vergroten van de modelgrootte of de inputresolutie lost deze problemen niet op en leidt vaak tot afnemende meerwaarde (diminishing returns).

2. Methodologie: GLoTran

Om deze uitdagingen aan te pakken, stellen de auteurs GLoTran voor, een raamwerk voor globaal-lokaal dubbel visueel waarnemen (global-local dual visual perception). In plaats van de hele hoge-resolutie afbeelding in één keer te verwerken, combineert GLoTran een laagresolutie globaal overzicht met meerschalige lokale tekstfragmenten.

Kerncomponenten:

• Dubbele Visuele Invoer:
  • Globale Weergave ($I_g$): De originele afbeelding wordt neergeschaald naar een lage resolutie (bijv. 224x224). Dit biedt een holistisch overzicht van de lay-out en semantische context van de scène.
  • Lokale Slices ($I_i$): Een tekstdetector (zoals PaddleOCR) identificeert tekstgebieden. Deze worden geknipt, gesorteerd op leesvolgorde en samengevoegd tot compacte "slices". Deze behouden de fijne details van de tekst.
• Architectuur en Integratie:
  • Zowel de globale afbeelding als de lokale slices worden onafhankelijk gecodeerd door een gedeelde visuele encoder (bijv. ViT).
  • Een hiërarchische cross-attention-mechanisme wordt ingevoerd in de vroege lagen van de Transformer. Hierbij kunnen lokale tokens selectief aandacht besteden aan semantisch relevante globale tokens. Dit helpt bij het oplossen van ambiguïteiten in de tekst door gebruik te maken van de bredere context.
• Regressieve Vertaling met Herhaling (Replay Mechanism):
  • Vertaling gebeurt niet in één keer, maar regio voor regio.
  • Bij het vertalen van slice $i$, wordt de output van de vorige $\eta$ slices (de "replay window") als context meegegeven. Dit zorgt voor consistentie in terminologie en zinsbouw over de hele afbeelding heen.
• Gestructureerde Prompting:
  • De instructie aan het MLLM bevat vier componenten:
    1. Globaal Begrip: Begrijp de algehele lay-out.
    2. Lokale Focus: Richt je op de tekst in de huidige slice.
    3. Consistentie: Zorg dat de lokale vertaling past bij de globale context en eerdere vertalingen.
    4. Vertaalinstructie: De specifieke opdracht om de tekst te vertalen.

3. De GLoD Dataset

Om dit paradigma te trainen, hebben de auteurs GLoD (Global-Local Dataset) gebouwd:

• Grootte: Een schaalbaar dataset van 510.000 hoogresolutie afbeeldingen met bijbehorende tekstparen.
• Diversiteit: Dekking van meer dan 40 realistische scenario's (menu's, documenten, posters, verkeersborden, etc.) in 5 talen.
• Cureringsproces: Een geautomatiseerde pipeline met menselijke verificatie die zorgt voor nauwkeurige detectie van tekstgebieden, groepering op basis van leesvolgorde, en dubbelzijdige vertaling (via GPT-4o en DeepSeek-R1) met kwaliteitscontrole op semantische consistentie tussen globale en lokale vertalingen.

4. Resultaten

GLoTran is getest op meerdere benchmarks (MCiTon en MTIT6) en vergeleken met state-of-the-art MLLM's (zoals Qwen3-VL, InternVL3, GPT-4o).

• Prestatieverbetering: GLoTran (gebaseerd op Qwen3-VL 8B) presteert significant beter dan de basismodellen en andere SOTA-modellen, zelfs die met veel grotere parametergroottes.
  • Op de MCiTon-testset werd een verbetering van 7,49% in BLEU en 2,49% in COMET behaald ten opzichte van de basis Qwen3-VL 8B.
  • In complexe scenario's (zoals documenten en posters) werden gemiddelde BLEU-winsten van 4,6% tot 5,4% behaald ten opzichte van andere open-source modellen.
• Meertaligheid: Het model toont consistente superioriteit in meertalige vertaaltaken (bijv. Japans/Chinees, Koreaans/Chinees).
• Efficiëntie vs. Kwaliteit:
  • GLoTran bereikt een hogere vertaalkwaliteit dan modellen die volledige hoge-resolutie afbeeldingen verwerken, maar doet dit met veel minder visuele tokens (bijv. 4.9K tokens vs. 164K tokens bij een model dat volledige resolutie gebruikt).
  • Dit resulteert in een lagere latentie en een aanzienlijk lagere rekenkosten, terwijl de kwaliteit behouden blijft.
• Ablatie-studies: De studies tonen aan dat de prestatieschommelingen niet lineair afhankelijk zijn van de modelgrootte, maar sterk worden beïnvloed door de strategie voor globaal-lokaal waarnemen. Een optimale grootte voor de "replay window" ($\eta=4$) en een gematigde globale resolutie (224px) bleken het meest effectief.

5. Belang en Bijdrage

De belangrijkste bijdragen van dit werk zijn:

1. Nieuw Paradigma: GLoTran introduceert een effectieve strategie om de spanning op te lossen tussen het behouden van globale context en het vastleggen van fijne tekstdetails in hoogresolutie afbeeldingen, zonder de rekenkosten van volledige hoge-resolutie verwerking.
2. Dataset: De creatie van GLoD, een schaalbare dataset die speciaal is ontworpen voor het trainen van dubbel-waarnemingsmodellen, vult een cruciale lacune in de huidige TIMT-literatuur.
3. Praktische Toepasbaarheid: Het bewijst dat MLLM's betrouwbaar kunnen worden ingezet voor complexe real-world vertaaltaken (zoals het vertalen van posters of menu's) door slimme architecturale keuzes in plaats van alleen te vertrouwen op schaalvergroting van parameters.

Samenvattend biedt GLoTran een robuuste oplossing voor de "visuele ruis" en contextuele inconsistentie die huidige MLLM's beperken bij het vertalen van tekstrijke afbeeldingen, en zet het een nieuwe standaard voor nauwkeurigheid en efficiëntie in dit domein.