InsideOut: Measuring and Mitigating Insider-Outsider Bias in Interview Script Generation

Resumo Técnico: InsideOut

1. O Problema: Viés "Insider-Outsider" em LLMs

O artigo identifica e investiga sistematicamente um novo tipo de viés cultural em Modelos de Linguagem de Grande Escala (LLMs), denominado Viés Insider-Outsider.

• Definição: Ocorre quando os modelos assumem, por padrão, a perspectiva de um "insider" (membro interno) para culturas hegemônicas (principalmente os EUA e o Ocidente), demonstrando familiaridade profunda e nuances, enquanto adotam uma postura de "outsider" (estrangeiro) para culturas menos dominantes (não-ocidentais).
• Manifestação: Nas culturas "insider", o LLM faz perguntas sofisticadas sobre valores sociais e evolução política. Nas culturas "outsider", o modelo tende a estereotipar, focar excessivamente em tradições antigas, rituais e na dicotomia "tradição vs. modernidade", tratando a cultura como um objeto de observação externa e exotização.
• Impacto: Isso reforça o eurocentrismo e o americanocentrismo, causando danos representacionais (sobrerrepresentação de valores ocidentais) e danos alocativos (alocação de recursos narrativos desiguais).

2. Metodologia e Benchmark INSIDEOUT

Para quantificar e analisar esse viés, os autores propõem o benchmark INSIDEOUT.

• Tarefa: Geração de roteiros de entrevistas jornalísticas. O LLM atua como um repórter entrevistando locais em diferentes contextos culturais.
• Dataset: 4.000 prompts gerados composicionalmente cobrindo 10 culturas diversas (EUA, China, Rússia, Zâmbia, Papua Nova Guiné, México, Índia, Emirados Árabes, Paquistão e Cuba).
• Variáveis Demográficas: Cada prompt inclui variações de nome, idade, gênero e ocupação para garantir robustez.
• Métricas de Avaliação:
  1. CEP (Cultural Externality Percentage): Porcentagem de scripts onde o repórter é classificado como "outsider".
  2. CPD (Cultural Perspective Deviation): Desvio padrão do CEP entre as culturas. Mede a inconsistência geral do modelo (quanto maior, maior o viés entre culturas).
  3. CAG (Cultural Alignment Gap): Diferença média entre o alinhamento de posicionamento do grupo de controle (EUA) e o grupo de referência (outras culturas).
• Avaliação Automática: Utiliza um "LLM Judge" (especificamente o gpt-o4-mini) para classificar se o tom do entrevistador é de "insider" ou "outsider", validado por anotação humana.

3. Contribuições Principais

1. Definição e Benchmarking: Introdução do conceito de viés Insider-Outsider e do benchmark INSIDEOUT com 4.000 prompts e 3 métricas quantitativas.
2. Análise Empírica: Avaliação de 5 LLMs de última geração (ChatGPT, Llama, Mistral, DeepSeek, Qwen), revelando um padrão sistemático de alinhamento com a cultura americana e postura externa para culturas não-ocidentais.
3. Métodos de Mitigação: Proposta de duas estratégias de inferência para reduzir o viés:
   • FIP (Fairness Intervention Pillars): Uma abordagem baseada em prompting que injeta diretrizes explícitas de justiça (ex: evitar suposições, não exotizar).
   • MFA (Mitigation via Fairness Agents): Um framework baseado em agentes que utiliza processos iterativos de revisão:
     • MFA-SA (Single-Agent): Um único agente que reflete e refina o script.
     • MFA-HA (Hierarchical-Agent): Pipeline hierárquico com um agente "Crítico" (avalia contra pilares de justiça) e um agente "Refinador" (revisa o script).
     • MFA-Plan (Agentic Planning): Um pipeline autônomo com um orquestrador que gerencia ciclos de diagnóstico, planejamento de mudanças e reescrita iterativa.

4. Resultados Experimentais

• Diagnóstico do Viés:
  • Os modelos adotam uma perspectiva "insider" em mais de 88% dos scripts sobre os EUA.
  • Em contraste, para culturas como Papua Nova Guiné, Zâmbia e Cuba, a taxa de postura "outsider" frequentemente excede 60-90%.
  • Análise qualitativa (modelagem de tópicos e saliência lexical) mostra que scripts sobre os EUA usam termos ideológicos (ex: "inclusão", "individualismo"), enquanto scripts sobre outras culturas focam em termos tradicionais/estereotipados (ex: "tribos", "sacrifício", "tradição").
• Eficácia da Mitigação:
  • O método FIP (baseado em prompts) reduziu o viés, mas de forma limitada.
  • Os métodos baseados em Agentes (MFA) superaram significativamente o FIP.
  • MFA-HA reduziu o CPD em 59,70% e o CAG em 62,52% em média entre os modelos.
  • MFA-Plan (no ChatGPT) alcançou a melhor performance, reduzindo o CPD em 77,00% e o CAG em 77,78%.
  • O modelo Qwen demonstrou a maior adaptabilidade cultural pós-mitigação.

5. Significado e Conclusão

O trabalho demonstra que a "neutralidade" cultural em LLMs é uma ilusão; os modelos tendem a internalizar a cultura ocidental como a norma padrão ("insider") e tratar outras culturas como objetos de estudo externo ("outsider").

• Implicação Teórica: O viés não é apenas sobre estereótipos explícitos, mas sobre a posição epistemológica do modelo em relação à cultura.
• Implicação Prática: A abordagem baseada em agentes autônomos (MFA) é apresentada como uma direção promissora e robusta para mitigar vieses sociais complexos em tarefas generativas, superando as limitações de simples ajustes de prompt.
• Limitações: O estudo focou em um subconjunto de culturas e em texto (sem análise multilíngue sistemática devido a custos), sugerindo que trabalhos futuros devem expandir para mais idiomas e modalidades.

Em suma, o artigo fornece uma ferramenta crítica para medir a "hegemonia cultural" em IA e valida que pipelines de agentes inteligentes são eficazes para restaurar a equidade na representação cultural gerada por máquinas.