DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

Titel: DialectGen: Benchmarking en Verbetering van Dialect-robustheid in Multimodale Generatie

Auteurs: Yu Zhou et al. (UCLA)
Publicatiedatum: April 2026 (arXiv)

---

1. Het Probleem

Multimodale generatieve modellen (voor tekst-naar-beeld en tekst-naar-video) presteren over het algemeen uitstekend op prompts in Standaard Amerikaans Engels (SAE). Echter, de wereldwijde Engelstalige gemeenschap bestaat voor een groot deel uit sprekers van dialecten (zoals Afrikaans-Amerikaans Engels, Brits Engels, Chicano Engels, Indiaas Engels, en Singaporees Engels).

Het paper identificeert een kritiek probleem:

• Dialect-gevoeligheid: Modellen falen vaak wanneer ze input ontvangen in dialecten, zelfs als de semantische betekenis identiek is aan SAE.
• Lexicale Barrières: Het falen wordt vaak veroorzaakt door specifieke dialectwoorden (lexemen) die synoniem zijn met SAE-woorden maar niet herkend worden door het model. Bijvoorbeeld, "ang pow" (Singaporees voor rood envelopje) of "brinjal" (Indiaas voor aubergine) worden niet correct geïnterpreteerd.
• Polysemie: Wanneer een woord in een dialect een andere betekenis heeft dan in SAE (bijv. "whip" betekent "auto" in AAE, maar "zweep" in SAE), neigen modellen ernaar om altijd de SAE-betekenis te genereren, zelfs als de context anders suggereert.
• Huidige Mitigatie is ontoereikend: Bestaande methoden zoals prompt-herformulering of fine-tuning van de decoder verbeteren de prestaties slechts marginaal (<7%) en gaan vaak ten koste van de prestaties op SAE.

2. Methodologie

De auteurs presenteren een drieledige aanpak: het bouwen van een benchmark, het evalueren van bestaande modellen, en het ontwikkelen van een nieuwe mitigatiestrategie.

A. DialectGen Benchmark

De auteurs hebben een nieuw, groot schaal benchmark dataset ontwikkeld:

• Omvang: Meer dan 4.200 gevalideerde prompts.
• Dialecten: Dekking van zes dialecten: SAE (Standaard), AAE (Afrikaans-Amerikaans), BrE (Brits), ChE (Chicano), InE (Indiaas), en SgE (Singaporees).
• Dataset Constructie:
  • Lexicale Paars: Voor elk dialectlexem wordt een SAE-equivalent gevonden.
  • Prompt Generatie: GPT-4o genereert "Concise" (korte, uitdagende) en "Detailed" (lange, contextuele) prompts.
  • Validatie: Moedertaalsprekers van de specifieke dialecten verifiëren dat de prompts semantisch identiek zijn, geldig in het dialect, en niet dubbelzinnig (vooral bij polysemie).
• Evaluatie: Er worden 17 modellen getest (o.a. Stable Diffusion 1.5 t/m 3.5, Flux, DALL-E 3, Wan 2.1, CogVideoX).

B. Evaluatiemetrics

• Automatisch: Gebruik van referentievrije metrics zoals VQAScore en CLIPScore om de alignatie tussen de gegenereerde afbeelding/video en de SAE-prompt te meten (aangezien de dialect-prompt semantisch gelijk is).
• Menselijk: Menselijke beoordelaars scoren de kwaliteit van de generatie op een schaal van 0-10. Er is een sterke correlatie gevonden tussen VQAScore en menselijke beoordeling ($r = 0.968$).

C. Mitigatiestrategie: Encoder-based Learning

In plaats van de decoder (beeldgenerator) te fine-tunen, focust de voorgestelde methode op het aanpassen van de tekst-encoder. De methode bestaat uit drie verliesfuncties (loss functions):

1. Dialect Learning Loss ($L_{DL}$):
   • Doel: Leer de encoder om dialectlexemen te herkennen.
   • Mechanisme: Minimaliseer de kosinushoek (cosine distance) tussen de embedding van een dialect-prompt en de embedding van het equivalente SAE-prompt (waarbij de SAE-encoder vastgehouden wordt).
2. Polysemy Control Loss ($L_{PC}$):
   • Doel: Behoud de juiste betekenis van woorden die in SAE meerdere betekenissen hebben (polysemie).
   • Mechanisme: Zorg dat de encoder voor een polysemisch SAE-woord dezelfde embedding behoudt als de originele encoder, zodat het model niet per ongeluk de dialect-betekenis toepast op SAE-input.
3. KL-Regularisatie (Kullback-Leibler Divergence):
   • Doel: Voorkom dat de prestaties op algemene SAE-taken verslechteren.
   • Mechanisme: Omdat tekst-encoders continue embeddings outputten in plaats van discrete logits, benaderen de auteurs de outputverdeling door de similariteit te berekenen tussen een caption-embedding en een set referentie-afbeeldings-embeddings (uit MSCOCO). De loss zorgt ervoor dat de verdeling van de getrainde encoder dicht bij die van de gefrieste (originele) encoder blijft.

3. Belangrijkste Resultaten

Benchmark Resultaten (Probleembevestiging)

• Significante Prestatieverval: Bestaande SOTA-modellen vertonen een prestatiedaling van 32,26% tot 48,17% wanneer er één dialectwoord in de prompt wordt gebruikt.
• Dialectverschillen: Modellen presteren het slechtst bij ChE (Chicano) en InE (Indiaas) input, en het beste bij BrE (Brits), wat correleert met de aanwezigheid van deze dialecten in de trainingsdata.
• Korte vs. Lange Prompts: De prestatiedaling is aanzienlijk groter bij korte prompts (Concise), wat aantoont dat modellen moeite hebben om betekenis af te leiden zonder extra context.

Mitigatie Resultaten

• Baselines: Prompt-herformulering (Prompt Rewrite) en decoder fine-tuning verbeteren de dialect-prestaties slechts met minder dan 7%, en vaak ten koste van SAE-prestaties.
• De Nieuwe Methode: De voorgestelde encoder-based methode (met Dialect Learning + KL Regularisatie + Polysemy Control) is zeer effectief:
  • Het verhoogt de prestaties op vijf dialecten tot een niveau dat gelijkwaardig is aan SAE (+34,4% verbetering).
  • Het veroorzaakt verwaarloosbare schade (<1%) aan de algemene SAE-prestaties (gemeten op MSCOCO).
  • Dit geldt voor zowel Stable Diffusion 1.5 als SDXL en video-modellen zoals Wan 2.1.

4. Bijdragen

1. DialectGen: Het eerste grote, multi-dialectale benchmark voor het evalueren van robustheid in tekst-naar-beeld en tekst-naar-video generatie.
2. Uitgebreide Evaluatie: Een grondige analyse van 17 multimodale modellen en vijf bestaande mitigatiemethoden, die de ernst van het probleem kwantificeert.
3. Efficiënte Oplossing: Een nieuwe, hoogpresterende methode die dialect-robustheid verbetert zonder de kwaliteit voor standaardgebruikers te verlagen, door in te spelen op de tekst-encoder in plaats van de decoder.

5. Betekenis en Impact

• Fairness en Inclusiviteit: Het paper benadrukt dat multimodale AI-systemen momenteel "dialect-discriminatie" vertonen, wat leidt tot slechtere gebruikerservaringen voor niet-standaard Engelstaligen.
• Technische Inzicht: Het toont aan dat het probleem voornamelijk lexicaal is (woorden) en niet grammaticaal, en dat het oplossen ervan vereist dat de tekst-encoder dialect-variatie leert te herkennen zonder de bestaande kennis van het model te "vergeten" (catastrophic forgetting).
• Toekomstige Richting: De methode biedt een schaalbare route om multimodale modellen te maken die toegankelijk zijn voor een bredere, meer diverse gebruikersgroep, en legt de basis voor verder onderzoek naar culturele bias en representatie in AI-generatie.

De code, data en het model zijn beschikbaar via: dialectgen.github.io.