Riepilogo Tecnico: P3B3 – Un Benchmark Conversazionale Multi-Turn per Misurare il Bias delle Varietà di Portoghese Europeo e Brasiliano nei LLM

Problematica

Man mano che i Large Language Models (LLM) diventano parte integrante della comunicazione quotidiana, la loro capacità di catturare la variazione linguistica regionale diventa critica per un uso equo della lingua e la preservazione culturale. Sebbene il portoghese sia una lingua pluricentrica con oltre 250 milioni di parlanti, la divergenza tra il portoghese europeo (pt-PT) e il portoghese brasiliano (pt-BR) è sostanziale, comprendendo scelte lessicali (ad es. autocarro vs. ônibus), forme di cortesia (tu vs. você) e sintassi (ad es. il posizionamento dei clitici).

Nonostante queste differenze, la maggior parte dei framework di addestramento e valutazione tratta il portoghese come una lingua uniforme. Data la predominanza schiacciante di dati brasiliani nei dataset su larga scala, i modelli spesso mostrano un "bias silenzioso", ricorrendo al pt-BR anche quando il contesto suggerirebbe il pt-PT. Questo comportamento rischia di degradare l'esperienza dell'utente e di contribuire al livellamento linguistico, in cui le variazioni regionali risultano sottorappresentate. Il documento affronta due domande primarie: (i) in che misura gli attuali LLM mostrano una preferenza per una varietà di portoghese e (ii) se i modelli possano essere efficacementi nel venire indirizzati verso una varietà target.

Metodologia

Il Benchmark P3B3

Gli autori introducono P3B3, un benchmark curato da esperti composto da 74 dialoghi multi-turn (203 turni totali) progettati per elicitare marcatori linguistici specifici della varietà senza un priming esplicito. Il benchmark aderisce a tre linee guida fondamentali:

1. Varietà-Agnostica: I prompt non contengono riferimenti espliciti a specifiche varietà per prevenire effetti di priming.
2. Sensibilità alla Varietà: I prompt sono progettati per elicitare naturalmente le differenze lessicali e grammaticali inerenti a pt-PT e pt-BR.
3. Conversazionale: Le strutture multi-turn accumulano la cronologia del dialogo per osservare come i bias si evolvano nel contesto, piuttosto che fare affidamento su input isolati a turno singolo.

I dialoghi coprono diversi domini quotidiani (ad es. trasporti, prodotti di bellezza) e sono stati costruiti manualmente da due esperti di linguistica per garantire validità e sottigliezza nei segnali di variazione.

Setup Sperimentale

Lo studio valuta una gamma diversificata di LLM multilingue istruiti (inclusi modelli open-weight come Llama, Gemma, Qwen e modelli specializzati come AMALIA e Sabiá) sotto tre impostazioni di prompting:

1. No-Prompt: Nessuna specifica esplicita della varietà, misurando il bias inerente.
2. Prompt pt-BR: Istruzione esplicita a rispondere in portoghese brasiliano.
3. Prompt pt-PT: Istruzione esplicita a rispondere in portoghese europeo.

Framework di Valutazione

Per valutare l'allineamento alla varietà e la controllabilità, gli autori impiegano una strategia di valutazione a doppio metodo:

• Classificatori Encoder: Utilizzando modelli basati su BERT finetunati (PeroVaz e PtBrVId) per punteggiare gli output su una scala di probabilità.
• LLM-as-Judge: Utilizzando Gemini-3-Flash per assegnare un punteggio da 0 (pt-BR) a 10 (pt-PT) con ragionamento chain-of-thought. Questo metodo è stato validato rispetto alle annotazioni umane di esperti linguistici, mostrando un forte accordo (Weighted $\kappa$ di 0.81 per la migliore configurazione).

Risultati Chiave

Bias Inerente (Impostazione No-Prompt)

La maggior parte dei modelli valutati mostra un forte bias inerente verso il pt-BR, probabilmente riflettendo gli squilibri nei dati di addestramento.

• AMALIA-9B, un modello specificamente pre-addestrato e finetuned per il pt-PT, è l'unico modello costantemente polarizzato verso il pt-PT (punteggio: 91.2).
• Gervásio, un modello basato su LLaMA finetuned per il pt-PT, mostra comunque un bias verso il pt-BR, suggerendo che i dati di pre-addestramento e la scala giocano un ruolo critico nel catturare il comportamento specifico della varietà.
• Modelli più grandi e recenti (ad es. Qwen-3.5 27B, Gemma-4-31B, Gemini-3-Flash) mostrano un comportamento più bilanciato, con punteggi compresi tra 44.5 e 63.7, pur pendendo comunque verso il pt-BR.

Controllabilità

• Steering pt-BR: Quando esplicitamente istruiti per il pt-BR, la maggior parte dei modelli mantiene o aumenta l'uso della varietà, indicando forti capacità di seguire le istruzioni, particolarmente nei modelli più grandi.
• Steering pt-PT: I risultati sono più variabili. Mentre modelli come EuroLLM, Apertus-70B e AMALIA mostrano un forte allineamento (≥86), i modelli basati su LLaMA faticano a produrre output costanti in pt-PT. Notevolmente, Qwen-3.5 mostra un miglioramento sostanziale rispetto a Qwen-3 (da 32.7 a 86.1), suggerendo che i cambiamenti nell'addestramento abbiano migliorato significativamente la gestione del pt-PT.
• Analisi a livello di Turno: Nell'impostazione pt-PT, i modelli con un allineamento iniziale inferiore tendono a scivolare verso il pt-BR nei turni successivi. Ciò indica che un'istruzione iniziale singola è spesso insufficiente per sostenere l'aderenza alla varietà linguistica attraverso più turni, suggerendo che la controllabilità degrada in contesti più lunghi.

Metriche di Valutazione

Lo studio valida che, sebbene i classificatori forniscano un segnale complementare a basso costo, i metodi LLM-as-Judge producono risultati più allineati e interpretabili, performando meglio quando utilizzano prompt basati su categorie e l'intera cronologia del dialogo.

Significato e Contributi

Il documento rivendica tre contributi primari:

1. Benchmark P3B3: Un nuovo benchmark multi-turn, varietà-agnostico e curato da esperti, progettato per valutare sistematicamente il bias e la controllabilità delle varietà del portoghese.
2. Framework di Valutazione: Una metodologia validata dagli umani che combina classificatori e LLM-as-Judge per valutare l'allineamento alla varietà, dimostrando che i giudici LLM possono misurare in modo affidabile sottili differenze linguistiche.
3. Evidenza Empirica: Una valutazione estesa che rivela un pervasivo bias verso il pt-BR in diversi modelli e evidenzia le sfide nel guidare la generazione verso il pt-PT, particolarmente in contesti multi-turn.

Gli autori concludono che, sebbene i modelli più grandi e recenti mostrino una migliore controllabilità, le performance del pt-PT rimangono meno costanti. Essi sottolineano la necessità di una rappresentazione multilingue più equilibrata nei dati di addestramento e nei framework di valutazione per supportare lo sviluppo di sistemi multilingue equi. Il lavoro nota inoltre dei limiti, come il focus su domini quotidiani piuttosto che tecnici, e suggerisce lavori futuri che estendano il benchmark ad altre varietà del portoghese (ad es. Angola, Mozambico, Capo Verde).