Resumen Técnico: P3B3 – Un Benchmark de Conversación Multi-turno para Medir el Sesgo de Variedad entre el Portugués Europeo y el Brasileño en LLMs

Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) se vuelven integrales para la comunicación cotidiana, su capacidad para capturar la variación lingüística regional es crítica para un uso del lenguaje equitativo y la preservación cultural. Aunque el portugués es una lengua pluricéntrica con más de 250 millones de hablantes, la divergencia entre el portugués europeo (pt-PT) y el portugués brasileño (pt-BR) es sustancial, abarcando elecciones léxicas (por ejemplo, autocarro vs. ônibus), formas de tratamiento (tu vs. você) y sintaxis (por ejemplo, la colocación de clíticos).

A pesar de estas diferencias, la mayoría de los marcos de entrenamiento y evaluación tratan al portugués como una lengua uniforme. Dada la abrumadora prevalencia de datos brasileños en los conjuntos de datos a gran escala, los modelos suelen exhibir un "sesgo silencioso", por defecto hacia el pt-BR incluso cuando el contexto sugiere pt-PT. Este comportamiento conlleva el riesgo de degradar la experiencia del usuario y contribuir a una nivelación lingüística donde las variaciones regionales quedan subrepresentadas. El artículo aborda dos preguntas primordiales: (i) hasta qué punto los LLMs actuales exhiben una preferencia por una variedad de portugués, y (ii) si los modelos pueden ser dirigidos eficazmente hacia una variedad objetivo.

Metodología

El Benchmark P3B3

Los autores introducen P3B3, un benchmark curado por expertos que consta de 74 diálogos multi-turno (203 turnos en total) diseñados para provocar marcadores lingüísticos específicos de cada variedad sin un priming explícito. El benchmark se adhiere a tres directrices fundamentales:

1. Agnóstico de la Variedad: Los prompts no contienen referencias explícitas a variedades específicas para evitar efectos de priming.
2. Sensibilidad a la Variedad: Los prompts están diseñados para provocar naturalmente diferencias léxicas y gramaticales inherentes al pt-PT y al pt-BR.
3. Conversacional: Las estructuras multi-turno acumulan el historial del diálogo para observar cómo evolucionan los sesgos a lo largo del contexto, en lugar de depender de entradas aisladas de un solo turno.

Los diálogos cubren diversos dominios cotidianos (por ejemplo, transporte, productos de belleza) y fueron construidos manualmente por dos expertos en lingüística para asegurar la validez y la sutileza en las claves de variación.

Configuración Experimental

El estudio evalúa una gama diversa de LLMs multilingües con ajuste de instrucciones (incluyendo modelos de pesos abiertos como Llama, Gemma, Qwen y modelos especializados como AMALIA y Sabiá) bajo tres configuraciones de prompting:

1. Sin Prompt (No-Prompt): Sin especificación explícita de la variedad, midiendo el sesgo inherente.
2. Prompt pt-BR: Instrucción explícita para responder en portugués brasileño.
3. Prompt pt-PT: Instrucción explícita para responder en portugués europeo.

Marco de Evaluación

Para evaluar la alineación de la variedad y la controlabilidad, los autores emplean una estrategia de evaluación de doble método:

• Clasificadores de Codificador (Encoder Classifiers): Utilizando modelos basados en BERT ajustados (PeroVaz y PtBrVId) para puntuar las salidas en una escala de probabilidad.
• LLM-as-Judge: Utilizando Gemini-3-Flash para asignar una puntuación de 0 (pt-BR) a 10 (pt-PT) con razonamiento de cadena de pensamiento (chain-of-thought). Este método fue validado contra anotaciones humanas de expertos lingüísticos, mostrando una fuerte concordancia (un $\kappa$ ponderado de 0.81 para la mejor configuración).

Resultados Clave

Sesgo Inherente (Configuración No-Prompt)

La mayoría de los modelos evaluados exhiben un fuerte sesgo inherente hacia el pt-BR, probablemente reflejando desequilibrios en los datos de entrenamiento.

• AMALIA-9B, un modelo pre-entrenado y ajustado específicamente para pt-PT, es el único modelo que exhibe consistentemente un sesgo hacia el pt-PT (puntuación: 91.2).
• Gervásio, un modelo basado en LLaMA ajustado para pt-PT, todavía exhibe un sesgo hacia el pt-BR, lo que sugiere que los datos de pre-entrenamiento y la escala juegan un papel crítico en la captura del comportamiento específico de la variedad.
• Los modelos más grandes y recientes (por ejemplo, Qwen-3.5 27B, Gemma-4-31B, Gemini-3-Flash) muestran un comportamiento más equilibrado, con puntuaciones que oscilan entre 44.5 y 63.7, aunque todavía se inclinan hacia el pt-BR.

Controlabilidad

• Direccionamiento (Steering) pt-BR: Cuando se solicita explícitamente pt-BR, la mayoría de los modelos mantienen o aumentan su uso de la variedad, indicando fuertes capacidades de seguimiento de instrucciones, particularmente en modelos más grandes.
• Direccionamiento pt-PT: Los resultados son más variables. Mientras que modelos como EuroLLM, Apertus-70B y AMALIA muestran una fuerte alineación (≥86), los modelos basados en LLaMA tienen dificultades para producir salidas consistentes en pt-PT. Notablemente, Qwen-3.5 muestra una mejora sustancial sobre Qwen-3 (de 32.7 a 86.1), sugiriendo que los cambios en el entrenamiento mejoraron significativamente el manejo del pt-PT.
• Análisis a Nivel de Turno: En la configuración de pt-PT, los modelos con una alineación inicial más baja tienden a derivar hacia el pt-BR en los turnos subsiguientes. Esto indica que una instrucción inicial única suele ser insuficiente para mantener la adherencia a la variedad del lenguaje a través de múltiples turnos, sugiriendo que la controlabilidad se degrada en contextos más largos.

Métricas de Evaluación

El estudio valida que, si bien los clasificadores proporcionan una señal complementaria de bajo costo, los métodos de LLM-as-Judge ofrecen resultados más alineados e interpretables, funcionando mejor cuando se utilizan prompts basados en categorías y el historial completo del diálogo.

Significado y Contribuciones

El artículo reclama tres contribuciones principales:

1. Benchmark P3B3: Un nuevo benchmark de diálogo multi-turno, agnóstico de la variedad y curado por expertos, diseñado para evaluar sistemáticamente el sesgo de variedad y la controlabilidad del portugués.
2. Marco de Evaluación: Una metodología validada por humanos que combina clasificadores y LLM-as-Judge para evaluar la alineación de la variedad, demostrando que los jueces de LLM pueden medir de manera confiable diferencias lingüísticas sutiles.
3. Evidencia Empírica: Una evaluación extensa que revela un sesgo generalizado hacia el pt-BR en diversos modelos y destaca los desafíos para dirigir la generación hacia el pt-PT, particularmente en contextos multi-turno.

Los autores concluyen que, si bien los modelos más grandes y nuevos muestran una mejor controlabilidad, el rendimiento del pt-PT sigue siendo menos consistente. Enfatizan la necesidad de una representación multilingüe más equilibrada en los datos de entrenamiento y en los marcos de evaluación para apoyar el desarrollo de sistemas multilingües equitativos. El trabajo también señala limitaciones, como el enfoque en dominios cotidianos en lugar de técnicos, y sugiere trabajos futuros que extiendan el benchmark a otras variedades del portugués (por ejemplo, Angola, Mozambique, Cabo Verde).