💬 NLP

Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models

Este artigo apresenta o FilBBQ, um novo benchmark de viés culturalmente adaptado ao contexto filipino que, através de um protocolo de avaliação robusto com múltiplas sementes, revela a presença de preconceitos sexistas e homofóbicos em modelos de linguagem treinados em filipino.

Autores originais: Lance Calvin Lim Gamboa, Yue Feng, Mark Lee

Publicado 2026-02-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lance Calvin Lim Gamboa, Yue Feng, Mark Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os modelos de linguagem (como o ChatGPT) são como cozinheiros muito inteligentes, que aprenderam a cozinhar lendo milhões de livros, sites e conversas da internet. O problema é que, às vezes, eles "copiam" os preconceitos e estereótipos que existiam nesses livros, achando que são verdades absolutas.

Este artigo apresenta uma nova ferramenta chamada FilBBQ para testar se esses "cozinheiros" estão servindo pratos com ingredientes preconceituosos, especificamente quando falam a língua filipina.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: O "Menu" Antigo não servia para todos

Antes, existia um teste chamado BBQ (Bias Benchmark for Question-Answering) que funcionava como um cardápio de testes em inglês. Ele perguntava coisas como: "Quem é mais emocional, um homem ou uma mulher?" para ver se a IA respondia com base em estereótipos.

Mas esse cardápio tinha dois problemas:

Era só em inglês: Não servia para a cultura filipina, que é diferente da americana.
Era um teste de "um só tiro": Eles faziam a pergunta uma única vez para a IA. Se a IA tivesse um "dia ruim" ou uma resposta aleatória, o resultado do teste estaria errado. É como tentar adivinhar o clima de um mês inteiro olhando para o céu apenas por 5 minutos.

2. A Solução: Criando o FilBBQ (O Novo Cardápio)

Os autores criaram o FilBBQ, que é como um cardápio novo, adaptado e feito sob medida para a Filipinas.

Eles fizeram isso em quatro etapas, como se estivessem reformando uma casa:

Categorização: Olharam para o cardápio original e jogaram fora as perguntas que não faziam sentido na cultura filipina (como perguntas sobre esportes específicos dos EUA).
Tradução Cultural: Não foi apenas traduzir palavra por palavra. Eles adaptaram os conceitos.
- Exemplo: Nos EUA, perguntavam sobre "babás". Na Filipinas, o termo correto e cultural é "yaya" (ajudante de casa).
- Exemplo: Em vez de usar nomes genéricos, usaram nomes reais e comuns nas Filipinas (como "Maria" ou "Jose") e termos locais para identidade de gênero (como bakla ou tomboy), que são diferentes dos termos em inglês.
Construção de Novos Pratos: Criaram perguntas novas que só existem na cultura filipina. Por exemplo, estereótipos sobre quem é bom em consertar carros (muitas vezes associado a mulheres tomboy nas Filipinas) ou sobre poligamia.
Geração de Perguntas: Usaram um robô para criar mais de 10.000 perguntas diferentes a partir desses modelos, misturando nomes e situações.

3. A Inovação: O Teste de "Muitas Vezes"

A parte mais brilhante do artigo não é só o cardápio, mas como eles fizeram o teste.

Eles perceberam que a IA é instável. Se você perguntar a mesma coisa duas vezes, ela pode dar respostas diferentes.

O jeito antigo: Perguntar uma vez e anotar a resposta. (Arriscado, como apostar tudo em um único dado).
O jeito novo (FilBBQ): Eles perguntaram a mesma coisa 50 vezes para a mesma IA, com pequenas variações aleatórias (como mudar o "tempero" interno do computador). Depois, tiraram a média das respostas.

Isso é como testar a força de um atleta não apenas uma vez, mas pedindo para ele correr 50 vezes e ver a média do tempo. Assim, você descobre a verdadeira tendência da IA, e não apenas um "acidente" de resposta.

4. O Que Eles Descobriram? (O Resultado do Teste)

Ao testar modelos de IA que falam filipino, eles encontraram preconceitos claros:

Sobre Gênero: As IAs tendem a associar mulheres a emoções (acham que elas choram mais) e a trabalhos domésticos (cozinhar, cuidar de casa), enquanto associam homens a liderança e carreiras.
Sobre Orientação Sexual: As IAs associam pessoas LGBTQ+ a moda, gossip e vaidade. Pior ainda, algumas IAs associaram pessoas não heterossexuais a pedofilia ou à ideia de que elas não conseguem ser fiéis (poligamia), o que é um preconceito muito grave e falso.

Um dos modelos testados (Llama-SEA-LION) mostrou-se mais "preconceituoso" quanto mais dados filipinos ele tinha treinado. Isso sugere que, às vezes, quanto mais a IA "lê" sobre um lugar, mais ela absorve os preconceitos que existem naquela sociedade, a menos que seja corrigida.

Resumo Final

O FilBBQ é como um detector de mentiras culturalmente inteligente. Ele não apenas traduz perguntas, mas entende a alma da cultura filipina. E, ao fazer o teste 50 vezes em vez de uma, ele garante que estamos vendo a verdade sobre os preconceitos das IAs, e não apenas um erro aleatório.

O objetivo final é ajudar a criar IAs mais justas, que não reforcem estereótipos de gênero ou sexualidade, garantindo que a tecnologia sirva a todos de forma igualitária, respeitando as nuances de cada cultura.

Título: Avaliação Robusta de Viés com FilBBQ: Um Benchmark de Viés Filipino para Modelos de Linguagem de Resposta a Perguntas

1. O Problema

O artigo aborda duas lacunas críticas na avaliação de viés em Modelos de Linguagem Pré-treinados (PLMs):

Sub-representação Linguística e Cultural: A maioria dos benchmarks de viés multilíngues (como o original BBQ - Bias Benchmark for QA) foca em idiomas de alto recurso e países desenvolvidos. Existe uma falta de ferramentas para avaliar vieses em contextos de países em desenvolvimento com recursos de NLP emergentes, como as Filipinas. Os vieses socioculturais são específicos de cada região, e traduções literais de benchmarks ocidentais falham em capturar nuances locais (ex.: estereótipos sobre gênero e orientação sexual específicos das Filipinas).
Instabilidade de Resposta e Protocolos de Avaliação Frágeis: Estudos anteriores de BBQ geralmente avaliam modelos com uma única execução (uma única "semente" ou seed) por prompt. No entanto, modelos generativos são conhecidos por sua baixa estabilidade de resposta, podendo fornecer respostas diferentes para o mesmo prompt em momentos distintos. Isso torna as métricas de viés anteriores pouco confiáveis e não representativas da tendência geral do modelo.

2. Metodologia

Os autores desenvolveram o FilBBQ e um protocolo de avaliação robusto através das seguintes etapas:

Construção do Dataset (FilBBQ):
- Processo de Quatro Fases: O benchmark foi criado através de (1) categorização de templates do BBQ original, (2) tradução culturalmente consciente, (3) construção de novos templates e (4) geração de prompts.
- Adaptação Cultural:
  - Rótulos Demográficos: Substituição de rótulos de orientação sexual ocidentais (ex.: gay, lésbica) por termos locais filipinos (bakla, bading, tomboy, lesbiyana) que refletem melhor a identidade local.
  - Nomes Próprios: Uso de nomes comuns nas Filipinas (incluindo nomes bíblicos/religiosos predominantes) e sobrenomes filipinos, mantendo nomes americanos apenas onde culturalmente apropriado devido à herança colonial.
  - Contextos: Adaptação de cenários para refletir a realidade filipina (ex.: substituir "babá" por yaya ou katulong; substituir "overalls de jeans" por roupas mais comuns no clima tropical; ajustar contextos educacionais para o sistema escolar filipino).
- Novos Templates: Criação de 52 templates originais baseados em estereótipos documentados na literatura acadêmica filipina e na mídia local (ex.: estereótipos sobre poligamia, interesses de moda de pessoas queer, e papéis domésticos).
- Estatísticas: O dataset final contém 10.576 prompts gerados a partir de 123 templates (77 de gênero, 46 de orientação sexual), cobrindo contextos ambíguos e desambiguados, e perguntas negativas e não-negativas.
Protocolo de Avaliação Robusta:
- Em vez de uma única execução, os autores rodaram os prompts do FilBBQ em 50 sementes (seeds) diferentes para cada modelo.
- As pontuações de viés foram calculadas para cada execução e, em seguida, médias foram tomadas para obter uma pontuação final mais estável e confiável.
- Métricas: Utilização de Bias Score ( $s_{dis}$ para contextos desambiguados e $s_{amb}$ para ambíguos), que variam de -1.00 (viés contrário ao estereótipo) a 1.00 (viés total), com 0.00 indicando ausência de viés.
Modelos Avaliados:
- Três modelos de código aberto treinados para lidar com a língua filipina:
  1. Llama-SEA-LION-v2-8B-IT (Causal, pré-treinado com dados do Sudeste Asiático).
  2. SeaLLMs-v3-7B-Chat (Causal, focado em instruções e segurança).
  3. roberta-tagalog-base (Modelo mascarado, treinado apenas em dados filipinos).

3. Contribuições Principais

FilBBQ: O primeiro benchmark de viés culturalmente consciente e específico para o contexto filipino, focado em tarefas de Resposta a Perguntas (QA), cobrindo viés de gênero e orientação sexual.
Protocolo de Avaliação Robusta: A demonstração de que múltiplas execuções (múltiplas sementes) são essenciais para avaliar o viés agregado de modelos generativos, superando a variabilidade aleatória de respostas.
Perfis de Viés: A aplicação do benchmark para gerar perfis detalhados de viés para modelos de ponta que operam em filipino, revelando padrões específicos de preconceito.

4. Resultados

Variabilidade de Respostas: A análise mostrou uma variabilidade significativa nas pontuações de viés entre as diferentes sementes. Isso confirma que avaliações de única execução podem ser enganosas, capturando comportamentos de outliers em vez da tendência central do modelo.
Perfis de Viés Identificados:
- Gênero: Todos os modelos exibiram fortes vieses sexistas associando mulheres a emoção (ex.: "mulheres são mais emocionais") e domesticidade (ex.: "mulheres são donas de casa", "enfermeiras são mulheres"). O modelo Llama-SEA-LION mostrou o viés mais forte, associando mulheres a papéis domésticos e homens a provedores econômicos.
- Orientação Sexual: Houve fortes vieses homofóbicos associando pessoas queer (especificamente bakla/bading) a interesses estereotipados (moda, design, fofoca) e a comportamentos de poligamia ou instabilidade no compromisso.
- Casos Específicos: O modelo roberta-tagalog-base apresentou uma associação alarmante entre não-heterossexualidade e pedofilia.
Correlação com Tamanho de Dados: O modelo Llama-SEA-LION-v2-8B-IT, que teve o maior volume de tokens filipinos no pré-treinamento (~1,24 bilhão) e a maior precisão no benchmark, também exibiu as pontuações de viés mais altas e consistentes. Os autores conjecturam que um maior volume de dados de pré-treinamento em um idioma pode correlacionar-se positivamente com a captura (e perpetuação) de vieses socioculturais presentes nesse corpus.

5. Significado e Impacto

Avanço para Idiomas de Baixo Recurso: O FilBBQ preenche uma lacuna crítica ao fornecer uma ferramenta de avaliação para uma nação em desenvolvimento com alta adoção de IA, mas recursos de NLP limitados, desafiando a hegemonia de benchmarks baseados em países ricos.
Metodologia de Pesquisa: O artigo estabelece um novo padrão para a avaliação de viés em modelos generativos, argumentando que a robustez estatística (múltiplas sementes) é tão importante quanto a qualidade do dataset.
Conscientização Cultural: Destaca que vieses não são universais; estereótipos sobre gênero e sexualidade variam drasticamente entre culturas, exigindo adaptações profundas e não apenas traduções superficiais.
Aplicação Prática: Os resultados fornecem uma linha de base para pesquisadores e desenvolvedores que desejam mitigar vieses em modelos de linguagem para o público filipino, focando em áreas críticas como papéis de gênero na saúde e estereótipos sobre a comunidade LGBTQ+.

O dataset e o código do FilBBQ estão disponíveis publicamente no GitHub para fomentar pesquisas futuras sobre justiça e equidade em modelos de linguagem multilíngues.