💬 NLP

P3B3: A Multi-Turn Conversational Benchmark for Measuring European and Brazilian Portuguese Variety Bias in LLMs

Het artikel introduceert P3B3, een door experts gecureerde benchmark en evaluatiekader dat een significante bias naar Braziliaans-Portugees boven Europees-Portugees onthult in huidige Large Language Models, wat de dringende behoefte aan een meer gebalanceerde meertalige representatie benadrukt.

Oorspronkelijke auteurs: Rafael Ferreira, Inês Vieira, Inês Calvo, James Furtado, Iago Paulo, Diogo Tavares, Diogo Glória-Silva, David Semedo, João Magalhães

Gepubliceerd 2026-06-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rafael Ferreira, Inês Vieira, Inês Calvo, James Furtado, Iago Paulo, Diogo Tavares, Diogo Glória-Silva, David Semedo, João Magalhães

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep zeer intelligente, erudiete robots hebt (Large Language Models, of LLM's) die Portugees spreken. Het probleem is dat Portugees niet één enkele stem is; het is als een familie met twee zeer verschillende neven: Europees Portugees (gesproken in Portugal) en Braziliaans Portugees (gesproken in Brazilië).

Hoewel ze dezelfde familienaam delen, spreken ze anders. Ze gebruiken verschillende woorden voor dezelfde dingen (zoals "bus" vs. "autocarro"), praten anders met elkaar en hebben zelfs unieke manieren om hun zinnen te construeren.

Het Probleem: De "Braziliaanse Bias"

De onderzoekers in dit artikel merkten iets vreemds op. Omdat het internet overspoeld wordt met tekst uit Brazilië, hebben deze robots veel meer Braziliaans Portugees gelezen dan Europees Portugees. Het is also_f een student alleen tekstboeken uit één specifiek dialect heeft gelezen; wanneer die student probeert te spreken, klinkt hij per ongeluk als iemand uit die regio, zelfs als hij met iemand aan de andere kant van de oceaan praat.

Het team wilde weten: Hebben deze robots een favoriete neef? En als we hen vertellen: "Spreek als een Europeaan", kunnen ze dat dan echt?

De Oplossing: P3B3 (De "Accenttest")

Om uit te zoeken hoe het zat, creëerden de onderzoekers een speciale test genaamd P3B3. Zie dit als een "blind proeverij" voor taal.

De Opzet: Ze vroegen de robots niet simpelweg: "Wat is een bus?" (wat een specifiek antwoord zou kunnen triggeren). In plaats daarvan creëerden ze natuurlijke, meerlaagse gesprekken over alledaagse onderwerpen zoals transport en schoonheidsproducten.
De Truc: De vragen waren zo ontworpen dat ze "variëtaits-agnostisch" waren. Dit betekent dat de vragen geen hints gaven over welk accent gebruikt moest worden. Het was alsof je vroeg: "Hoe kom ik bij de winkel?" zonder te zeggen "in Lissabon" of "in São Paulo".
Het Doel: Ze wilden zien wat de robots van nature zouden zeggen. Zouden ze standaard het Braziliaanse accent gebruiken omdat ze dat het meest hebben gelezen? Of konden ze van koers veranderen als erom gevraagd werd?

Hoe Ze Het Maten

De onderzoekers gebruikten twee methoden om de antwoorden van de robots te beoordelen:

De "Grammatica Politie" (Classifiers): Computerprogramma's die getraind zijn om specifieke woorden en grammaticaregels te herkennen die bij ofwel Portugal of Brazilië horen.
De "Expert Rechter" (LLM-as-Judge): Ze gebruikten een superintelligente AI (Gemini) om de antwoorden te lezen en op te treden als een menselijke taalkundige, waarbij een score werd gegeven van 0 (Puur Braziliaans) tot 10 (Puur Europees), inclusief een uitleg over waarom (bijv. "Ze gebruikten het woord 'ônibus' in plaats van 'autocarro'").

Wat Ze Vonden

De resultaten waren een beetje als een realityshow waarin de kandidaten moeite hebben om hun ware afkomst te verbergen:

De Standaardmodus: Wanneer ze met rust gelaten werden (zonder instructies), spraken bijna alle robots van nature Braziliaans Portugees. Dit was hun "comfortzone". Zelfs robots die specifiek getraind waren om Europees te zijn (zoals AMALIA), waren de enigen die consequent het Europese accent vasthielden.
De "Schakeltest": Wanneer de onderzoekers de robots expliciet vertelden: "Spreek alsjeblieft Braziliaans", deden de meeste van hen het erg goed. Maar wanneer ze zeiden: "Spreek alsjeblieft Europees", werd het veel moeilijker. Veel robots hadden moeite om consistent te blijven. Ze begonnen Europees te spreken, maar vervielen na een paar zinnen per ongeluk weer in Braziliaanse woorden of grammatica.
Grootte Doet Er Toe: De nieuwere, grotere en krachtigere robots waren beter in staat om instructies op te volgen en van accent te wisselen dan de oudere, kleinere robots. Toch driften zelfs de beste modellen soms af naar hun Braziliaanse wortels tijdens langere gesprekken.

Het Grotere Plaatje

Het artikel concludeert dat hoewel deze AI-modellen beter worden, ze nog steeds een sterke "Braziliaanse bias" hebben vanwege de data waarop ze zijn getraind. Ze zijn als acteurs die geweldig zijn in het spelen van een Braziliaans personage, maar moeite hebben om gedurende een heel toneelstuk in hun rol als Europeaan te blijven, zelfs als de regisseur daarom vraagt.

De onderzoekers hebben deze test (P3B3) gebouwd zodat ontwikkelaars in de toekomst kunnen controleren of hun robots evenwichtiger en eerlijker worden naar alle Portugeessprekende gebruikers, om ervoor te zorgen dat een gebruiker in Lissabon dezelfde hoogwaardige, cultureel accurate ervaring krijgt als een gebruiker in Rio de Janeiro.

Technische Samenvatting: P3B3 – Een Multi-Turn Conversational Benchmark voor het Meten van Europese en Braziliaanse Portugese Variëteit-bias in LLM's

Probleemstelling

Naarmate Large Language Models (LLM's) een integraal onderdeel worden van het dagelijks communicatieproces, is hun vermogen om regionale linguïstische variatie te vatten cruciaal voor rechtvaardig taalgebruik en culturele preservatie. Hoewel het Portugees een pluricentrische taal is met meer dan 250 miljoen sprekers, is de divergentie tussen Europees Portugees (pt-PT) en Braziliaans Portugees (pt-BR) substantieel, wat zich uit in lexicale keuzes (bijv. autocarro vs. ônibus), aanspreekvormen (tu vs. você) en syntaxis (bijv. clitische plaatsing).

Ondanks deze verschillen behandelen de meeste trainings- en evaluatieframeworks het Portugees als een uniforme taal. Gezien de overweldigende prevalentie van Braziliaanse data in grootschalige datasets, vertonen modellen vaak een "stille bias", waarbij ze standaard naar pt-BR neigen, zelfs wanneer de context om pt-PT vraagt. Dit gedrag brengt het risico met zich mee dat de gebruikerservaring verslechtert en bijdraagt aan linguïstische nivellering waarbij regionale variaties ondervertegenwoordigd raken. Het artikel adresseert twee primaire vragen: (i) in welke mate vertonen huidige LLM's een voorkeur voor één Portugese variant, en (ii) kunnen modellen effectief worden gestuurd naar een doelvariant.

Methodologie

De P3B3 Benchmark

De auteurs introduceren P3B3, een door experts gecureerde benchmark bestaande uit 74 multi-turn dialogen (totaal 203 beurten) die ontworpen zijn om variëteit-specifieke linguïstische markers op te roepen zonder expliciete priming. De benchmark voldoet aan drie kernrichtlijnen:

Variëteit-agnostisch: Prompts bevatten geen expliciete verwijzingen naar specifieke variëteiten om priming-effecten te voorkomen.
Variëteit-sensitief: Prompts zijn ontworpen om op natuurlijke wijze de inherente lexicale en grammaticale verschillen van pt-PT en pt-BR op te roepen.
Conversational: Multi-turn structuren cumuleren de dialooggeschiedenis om te observeren hoe biases evolueren over de context, in plaats van te vertrouwen op geïsoleerde single-turn inputs.

De dialogen bestrijken diverse alledaagse domeinen (bijv. transport, schoonheidsproducten) en werden handmatig geconstrueerd door twee taalkundige experts om de validiteit en subtiliteit van de variatiekenmerken te waarborgen.

Experimentele Opzet

De studie evalueert een diverse reeks meertalige instruction-tuned LLM's (inclusief open-weight modellen zoals Llama, Gemma, Qwen en gespecialiseerde modellen zoals AMALIA en Sabiá) onder drie prompting-instellingen:

No-Prompt: Geen expliciete specificatie van de variëteit, wat de inherente bias meet.
pt-BR Prompt: Expliciete instructie om in Braziliaans Portugees te reageren.
pt-PT Prompt: Expliciete instructie om in Europees Portugees te reageren.

Evaluatieframework

Om variant-alignement en controleerbaarheid te beoordelen, gebruiken de auteurs een duale evaluatiestrategie:

Encoder Classifiers: Gebruik van fine-tuned BERT-gebaseerde modellen (PeroVaz en PtBrVId) om outputs te scoren op een waarschijnlijkheidsschaal.
LLM-as-Judge: Het inzetten van Gemini-3-Flash om een score toe te kennen van 0 (pt-BR) tot 10 (pt-PT) met chain-of-thought redenering. Deze methode werd gevalideerd tegen menselijke annotaties door taalkundige experts, waarbij een sterke overeenkomst werd aangetoond (Weighted $\kappa$ van 0,81 voor de beste configuratie).

Belangrijkste Resultaten

Inherente Bias (No-Prompt Setting)

De meeste geëvalueerde modellen vertonen een sterke inherente bias naar pt-BR, wat waarschijnlijk de reflectie is van onbalans in de trainingsdata.

AMALIA-9B, een model dat specifiek is voorgetraind en fine-tuned voor pt-PT, is het enige model dat consistent gebiased is naar pt-PT (score: 91,2).
Gervásio, een LLaMA-gebaseerd model dat is gefine-tuned voor pt-PT, vertoont nog steeds een pt-BR bias, wat suggereert dat pre-training data en schaal een cruciale rol spelen bij het vastleggen van variëteit-specifiek gedrag.
Grotere en recentere modellen (bijv. Qwen-3.5 27B, Gemma-4-31B, Gemini-3-Flash) vertonen meer gebalanceerd gedrag, met scores variërend van 44,5 tot 63,7, hoewel ze nog steeds neigen naar pt-BR.

Controleerbaarheid

pt-BR Steering: Wanneer expliciet gevraagd wordt om pt-BR, behouden de meeste modellen hun gebruik van de variant of vergroten ze dit, wat wijst op sterke instructie-opvolgingscapaciteiten, met name in grotere modellen.
pt-PT Steering: De resultaten zijn variabeler. Hoewel modellen zoals EuroLLM, Apertus-70B en AMALIA een sterke alignement vertonen (≥86), hebben LLaMA-gebaseerde modellen moeite om consistente pt-PT outputs te produceren. Opvallend genoeg laat Qwen-3.5 een substantiële verbetering zien ten opzichte van Qwen-3 (van 32,7 naar 86,1), wat suggereert dat veranderingen in training de pt-PT afhandeling aanzienlijk hebben verbeterd.
Turn-Level Analyse: In de pt-PT setting neigen modellen met een lagere initiële alignement er tijdens opeenvolgende beurten toe om richting pt-BR te dragen. Dit geeft aan dat een enkele initiële instructie vaak onvoldoende is om de naleving van de taalvariëteit over meerdere beurten te handhaven, wat suggereert dat de controleerbaarheid degradeert in langere contexten.

Evaluatiemetrieken

De studie valideert dat hoewel classifiers een laagwaardig complementair signaal bieden, LLM-as-Judge methoden meer gealigneerde en interpreteerbare resultaten opleveren, vooral wanneer ze gebruikmaken van categorie-gebaseerde prompts en de volledige dialooggeschiedenis.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

P3B3 Benchmark: Een nieuwe, door experts gecureerde, variëteit-agnostische multi-turn dialoog benchmark die systematisch de Portugese variëteit-bias en controleerbaarheid evalueert.
Evaluatieframework: Een door mensen gevalideerde methodologie die classifiers combineert met LLM-as-Judge om variant-alignement te beoordelen, waarbij wordt aangetoond dat LLM judges betrouwbaar subtiele linguïstische verschillen kunnen meten.
Empirisch Bewijs: Uitgebreide evaluatie die een alomtegenwoordige bias naar pt-BR aantoont bij diverse modellen en de uitdagingen belicht bij het sturen van generatie naar pt-PT, met name in multi-turn contexten.

De auteurs concluderen dat hoewel grotere en nieuwere modellen een verbeterde controleerbaarheid vertonen, de pt-PT prestaties minder consistent blijven. Ze benadrukken de noodzaak van een meer gebalanceerde meertalige representatie in trainingsdata en evaluatieframeworks om de ontwikkeling van rechtvaardige meertalige systemen te ondersteunen. Het werk merkt ook beperkingen op, zoals de focus op alledaagse domeinen in plaats van technische domeinen, en suggereert toekomstig werk dat de benchmark uitbreidt naar andere Portugese variëteiten (bijv. Angola, Mozambique, Kaapverdië).