💬 NLP

Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models

Este artículo presenta FilBBQ, un nuevo benchmark de más de 10.000 prompts diseñado para evaluar de manera robusta y culturalmente contextualizada los sesgos sexistas y homofóbicos en modelos de lenguaje filipos, demostrando mediante un protocolo de múltiples semillas la variabilidad de estas puntuaciones y la presencia de prejuicios específicos en temas como la domesticidad, las emociones y la poligamia.

Autores originales: Lance Calvin Lim Gamboa, Yue Feng, Mark Lee

Publicado 2026-02-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lance Calvin Lim Gamboa, Yue Feng, Mark Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que las Inteligencias Artificiales (IA) son como cocineros muy talentosos que han aprendido a cocinar millones de recetas de todo el mundo. Pero, al igual que cualquier persona, estos cocineros también han absorbido los prejuicios, los chistes y los estereotipos de la sociedad donde "comieron" (sus datos de entrenamiento).

El problema es que, hasta ahora, la mayoría de los "exámenes de cocina" para detectar si estos cocineros tienen prejuicios se hacían solo en inglés o en idiomas de países ricos. Era como si solo probáramos la comida de un chef con platos franceses, ignorando si sabe cocinar bien la comida local de Filipinas.

Aquí es donde entra este paper, que presenta FilBBQ. Vamos a desglosarlo con analogías sencillas:

1. El Problema: Un examen que no habla tu idioma

Los investigadores notaron que existía un examen famoso llamado BBQ (una prueba para ver si las IAs tienen prejuicios raciales, de género o sexuales). Pero este examen estaba "traducido" solo a idiomas de países desarrollados.

La analogía: Imagina que quieres saber si un juez es justo, pero le haces preguntas sobre leyes que no existen en tu país. El resultado no tendría sentido. Filipinas tiene una cultura única, con sus propias reglas sociales y estereotipos (por ejemplo, cómo se ve a las mujeres o a las personas LGBTQ+ allí), y el examen original no capturaba eso.

2. La Solución: Creando "FilBBQ" (El examen filipino)

Los autores crearon FilBBQ, que es básicamente una versión del examen adaptada específicamente para la cultura filipina.

Cómo lo hicieron: No fue una simple traducción automática (que a veces es como traducir un chiste y que no tenga gracia). Fue un proceso de 4 pasos:
1. Categorizar: Decidir qué preguntas del examen original servían y cuáles no (por ejemplo, quitar preguntas sobre deportes que no son populares en Filipinas).
2. Traducir con cultura: Cambiar nombres y situaciones. En lugar de "football" (fútbol americano), pusieron "basketbol". En lugar de "babysitter" (que es raro allí), pusieron "yaya" (nana) o "katulong". Usaron nombres locales y términos reales como bakla o tomboy en lugar de palabras en inglés que no encajan.
3. Crear nuevo contenido: Inventaron preguntas nuevas basadas en estereotipos reales de Filipinas, como la idea de que las mujeres son más emocionales o que las personas LGBTQ+ tienen gustos específicos por la moda.
4. Generar el examen: Crearon más de 10,000 preguntas (¡un montón!) para poner a prueba a las IAs.

3. El Método: No confiar en una sola respuesta

Aquí viene la parte más inteligente del paper. Las IAs generativas son como actores que improvisan: si les haces la misma pregunta dos veces, a veces dan respuestas diferentes.

El error anterior: Los exámenes anteriores le hacían la pregunta a la IA una sola vez y tomaban esa respuesta como la verdad absoluta.
La mejora de este paper: Los investigadores le preguntaron a la IA la misma pregunta 50 veces (como si le preguntaras a un amigo 50 veces si le gusta la pizza, para ver si siempre dice lo mismo). Luego, promediaron todas las respuestas.
La analogía: Es como si fueras a un partido de fútbol y solo vieras el primer minuto para decidir quién ganó. Eso no es justo. FilBBQ te deja ver los 90 minutos completos para ver el verdadero desempeño.

4. Los Resultados: Lo que descubrieron

Al aplicar este nuevo examen a las IAs que hablan filipino, descubrieron cosas interesantes:

Las IAs no son perfectas: Sus respuestas cambiaban mucho dependiendo de la "vez" que les preguntaste. Esto confirma que necesitamos hacer muchas pruebas para estar seguros.
Los prejuicios encontrados:
- Mujeres: Las IAs tienden a pensar que las mujeres son más emocionales, que deben cuidar la casa o que son enfermeras, mientras que los hombres son los líderes o los doctores.
- Comunidad LGBTQ+: Las IAs asociaban a los hombres gay con la moda, el diseño y el chisme, y tenían prejuicios extraños sobre la poligamia (tener varias parejas) o la falta de compromiso.
- Curiosidad: La IA que había "comido" más datos filipinos (Llama-SEA-LION) tenía más prejuicios que las otras.
- La analogía: Es como si el chef que más ha cocinado en Filipinas hubiera absorbido demasiados de los prejuicios de la calle, mientras que el chef que cocinó un poco menos de comida local era un poco más neutral (aunque no perfecto).

En resumen

Este paper nos dice: "No podemos juzgar a las IAs con reglas universales si queremos entender cómo piensan en culturas específicas."

Crearon un espejo cultural (FilBBQ) para que las IAs se vean a sí mismas desde la perspectiva filipina y descubrieron que, aunque son muy inteligentes, siguen repitiendo los estereotipos de la sociedad (mujeres en casa, hombres en el trabajo, prejuicios contra la comunidad gay). Además, nos enseñaron que para medir esto bien, no basta con preguntar una vez; hay que preguntar muchas veces para ver la verdad completa.

Es un paso importante para asegurar que la tecnología sea justa para todos, no solo para quienes hablan inglés o viven en países ricos.

Resumen Técnico: FilBBQ

1. Problema Identificado

El artículo aborda dos deficiencias críticas en la evaluación de sesgos en Modelos de Lenguaje Preentrenados (PLM):

Falta de representatividad lingüística y cultural: La mayoría de los benchmarks de sesgo existentes (como BBQ, el Bias Benchmark for QA) se centran en idiomas de alto recurso y países económicamente desarrollados. Existe una subrepresentación de lenguas de recursos bajos de países en desarrollo, como el filipino, a pesar de su alta adopción de IA. Los sesgos socioculturales específicos de Filipinas (ej. roles de género, orientación sexual local) no están capturados en las adaptaciones actuales.
Inestabilidad en la evaluación: Los protocolos de evaluación anteriores generaban una sola respuesta por prompt y calculaban una puntuación de sesgo única. Dado que los modelos generativos tienen baja estabilidad de respuesta (pueden dar respuestas diferentes al mismo prompt en diferentes ejecuciones), estas puntuaciones únicas no reflejan la tendencia real del modelo, introduciendo ruido y falta de fiabilidad en las métricas de sesgo.

2. Metodología

Los autores proponen FilBBQ, un benchmark de evaluación de sesgos diseñado específicamente para el contexto filipino, desarrollado mediante un proceso de cuatro fases:

Fase 1: Categorización de Plantillas: Se adaptaron las plantillas del BBQ original (inglés), clasificándolas en:
- Eliminación: Temas no relevantes para Filipinas (ej. deportes específicos o transexualidad bajo la óptica occidental).
- Traducción: Estereotipos que se trasladan directamente.
- Modificación: Estereotipos que requieren ajuste cultural (ej. cambiar "babysitter" por "yaya" o "katulong", o ajustar la ropa estereotipada de lesbianas por el clima tropical).
Fase 2: Traducción Consciente Culturalmente:
- Etiquetas Demográficas: Se reemplazaron etiquetas de orientación sexual occidentales (gay, bisexual, etc.) por términos locales filipinos (bakla, bading, tomboy, lesbiyana), que reflejan mejor la identidad de género y sexualidad en el país.
- Nombres Propios: Se utilizaron nombres comunes en Filipinas (incluyendo nombres bíblicos y religiosos frecuentes) y apellidos filipinos, en lugar de nombres estadounidenses.
Fase 3: Construcción de Nuevas Plantillas: Se crearon 52 plantillas originales basadas en literatura académica filipina y columnas de medios, abordando estereotipos únicos como la asociación de las tomboys con la mecánica de autos o la poligamia percibida en personas queer.
Fase 4: Generación de Prompts: Un script automatizó la creación de 10,576 prompts a partir de 123 plantillas (77 de género, 46 de orientación sexual), cubriendo contextos ambiguos y desambiguados, y preguntas negativas y no negativas.

Protocolo de Evaluación Robusta:
Para mitigar la inestabilidad de los modelos, los autores no evaluaron cada prompt una sola vez. En su lugar:

Se ejecutaron 50 semillas (seeds) diferentes para cada prompt.
Se calcularon las puntuaciones de sesgo ( $s_{dis}$ y $s_{amb}$ ) para cada ejecución.
Se promediaron las puntuaciones de las 50 ejecuciones para obtener una medida final robusta y representativa de la tendencia del modelo.

3. Contribuciones Clave

FilBBQ: La primera herramienta de evaluación de sesgo culturalmente consciente para el idioma filipino, enfocada en preguntas y respuestas (QA). Contiene más de 10k prompts y es la primera en integrar estereotipos específicos de Filipinas.
Protocolo de Evaluación Robusta: Demuestra la necesidad de realizar múltiples ejecuciones (múltiples semillas) para obtener perfiles de sesgo precisos, superando la limitación de las evaluaciones de "una sola pasada".
Perfiles de Sesgo de Modelos: Generó los primeros perfiles de sesgo detallados para modelos de lenguaje capaces de procesar filipino (Llama-SEA-LION-v2-8B-IT, SeaLLMs-v3-7B-Chat y roberta-tagalog-base).

4. Resultados Principales

Variabilidad de Puntuaciones: Se confirmó que las puntuaciones de sesgo varían significativamente entre diferentes semillas para el mismo prompt. Esto valida que las evaluaciones de una sola ejecución son insuficientes.
Sesgos de Género:
- Los modelos mostraron fuertes sesgos asociando a las mujeres con la emocionalidad y los roles domésticos (ej. enfermeras, ama de casa).
- En el contexto desambiguado, Llama-SEA-LION mostró una fuerte asociación de mujeres con enfermería y hombres con medicina (puntuación de sesgo de 0.78).
Sesgos Homófobos:
- Se detectaron prejuicios hacia las personas queer, asociándolas con intereses estereotipados (moda, diseño, chismes) y comportamientos polígamos o inestables en relaciones.
- El modelo roberta-tagalog-base mostró una asociación alarmante entre la no heterosexualidad y la pedofilia.
Correlación con el Corpus de Entrenamiento: Se observó que el modelo con mayor cantidad de tokens filipinos en su preentrenamiento (Llama-SEA-LION, ~1.2 mil millones de tokens) también presentó puntuaciones de sesgo más altas y consistentes, sugiriendo una correlación positiva entre la capacidad del modelo en el idioma y la magnitud de sus sesgos inherentes.

5. Significado e Impacto

Avance en NLP de Recursos Bajos: FilBBQ llena un vacío crítico al proporcionar un estándar de evaluación para una lengua de recursos bajos pero de alta adopción de IA, permitiendo identificar sesgos que los benchmarks occidentales pasarían por alto.
Metodología Rigurosa: El artículo establece un nuevo estándar para la evaluación de sesgos, demostrando que la fiabilidad requiere promediar múltiples ejecuciones para capturar el comportamiento central de los modelos generativos.
Implicaciones Éticas: Los resultados subrayan la necesidad de mitigar sesgos específicos de contexto (como los roles de género tradicionales filipinos) antes de desplegar modelos en aplicaciones sociales, asegurando que la IA no perpetúe estereotipos dañinos contra grupos marginados en el sudeste asiático.

El benchmark está disponible públicamente en GitHub, fomentando la investigación futura sobre la equidad en modelos multilingües.