Benchmarking Open-Weight Foundation Models for Global AI Technical Governance

Sumário Técnico: Avaliação de Desempenho de Modelos de Fundação de Pesos Abertos para a Governança Técnica Global de IA

Definição do Problema
Grandes modelos de linguagem (LLMs) são cada vez mais utilizados para sintetizar dados de governança de IA transnacionais. No entanto, a literatura existente sugere que esses modelos sofrem de "viés geográfico", produzindo respostas menos precisas para países sub-representados nos dados de treinamento (principalmente nações do Sul Global). Estudos empíricos anteriores sobre este fenômeno são metodologicamente comprometidos por três limitações críticas: (1) dependência de modelos proprietários de código fechado que impedem a replicação independente; (2) avaliação do conhecimento do modelo em relação a anos posteriores ao corte dos dados de treinamento, confundindo ignorância temporal com viés geográfico; e (3) o uso de esquemas de classificação binária grosseiros que não distinguem entre fabricação confiante (alucinação) e reconhecimentos honestos de incerteza. Essas limitações comprometem a validade das descobertas relativas à equidade geográfica na análise de governança de IA.

Metodologia
Este estudo aborda as limitações supracitadas por meio de um framework de benchmarking rigoroso e reprodutível envolvendo quatro modelos de linguagem de fronteira de pesos abertos: Llama 4 Maverick da Meta, Mistral Large 3 da Mistral AI, Qwen3-235B-A22B da Alibaba Cloud e DeepSeek-V3-0324 da DeepSeek. A seleção garante equilíbrio geopolítico, com dois modelos de desenvolvedores ocidentais e dois de desenvolvedores chineses.

A avaliação utiliza o Global AI Dataset v2 (GAID v2), um banco de dados de verdade fundamental (ground-truth) verificado contendo 24.453 indicadores de 227 países. Deste, foram selecionados 18 indicadores mapeados para as oito dimensões temáticas do framework IEEE IRAI 2026 (Ética, Segurança, Proteção, Transparência, Equidade, Responsabilidade, Regulação e Adoção). O estudo gerou aproximadamente 2.990 observações de país-métrica-ano ao longo de seis anos de avaliação (2010, 2013, 2016, 2019, 2022, 2023).

Para cada observação, três variantes de consulta foram geradas (numérica direta, comparativa regional e enquadramento de governança contextual), resultando em um total de 35.880 prompts. As respostas foram classificadas usando um esquema baseado em regras de cinco categorias: Precisão Verificada (VF), Fabricação Confiante (HF), Recusa Honesta (HR), Hesitação Qualitativa (QH) e Atribuição Indevida (MF). A análise estatística empregou regressão logística de efeitos mistos para estimar disparidades geográficas e um design de diferença-em-diferenças (DiD) para avaliar se a origem nacional do desenvolvedor do modelo modera os diferenciais de precisão.

Resultos Principais
Contrário à hipótesa dominante na literatura existente, o estudo descobriu que as taxas de fabricação foram significativamente maiores para países do Norte Global do que para países do Sul Global em todos os quatro modelos.

• Variação Regional: A África exibiu a maior Precisão Verificada média (35,1%), seguida pelas Américas (30,2%), enquanto a Europa (24,4%) e a Oceania (23,5%) mostraram menor precisão. A África teve chances significativamente menores de fabricação em comparação à Europa (OR=0,52).
• Desempenho do Modelo: O Mistral Large 3 demonstrou a maior precisão (menor taxa de fabricação: 61,2%), enquanto o Llama 4 Maverick apresentou a maior taxa de fabricação (85,1%). A identidade do modelo foi o preditor mais forte da taxa de fabricação.
• Origem do Desenvolvedor: A análise DiD forneceu apenas evidências marginais (p=0,076) de que a origem do desenvolvedor modera o viés geográfico. Os modelos de origem chinesa mostraram uma vantagem de precisão ligeiramente maior para consultas do Sul Global em comparação aos modelos de origem ocidental, mas o efeito foi pequeno e não foi robusto às correções de múltiplas comparações.
• Variação Temática: A precisão variou drasticamente por tema. A dimensão "Segurança" (especificamente capacidade de computação de IA e parâmetros do modelo) exibiu quase total fabricação (taxas de VF próximas a 0%), enquanto a dimensão "Regulação" mostrou a maior precisão (42,2% VF). A Análise de Componentes Principais (PCA) revelou que o viés geográfico não é um fator único e geral, mas sim difuso e estruturado tematicamente, exigindo 15 componentes para explicar 90% da variância.
• Efeitos Temporais: A proximidade do corte dos dados de treinamento não explicou independentemente os padrões de precisão geográfica uma vez que a identidade do modelo e as dimensões temáticas foram controladas.
• Comportamento de Resposta: As Recusas Honestas (HR) foram efetivamente ausentes (<0,1%), indicando que os modelos de fronteira quase nunca declinam responder a consultas factuais, optando por fornecer estimativas numéricas independentemente da certeza do conhecimento.

Significância e Alegações
O artigo alega fornecer a primeira avaliação rigorosa e reprodutível do viés geográfico utilizando modelos de pesos abertos e um conjunto de dados de verdade fundamental verificado. Suas principais contribuições incluem:

1. Correção Metodológica: Demonstra que as descobertas anteriores de viés geográfico podem ser confundidas por limites temporais e esquemas de classificação binária. Ao distinguir fabricação de recusa, o estudo revela uma realidade mais complexa onde os modelos frequentemente fabricam dados confiantemente para indicadores de alto valor do Norte Global, em vez de simplesmente recusar consultas do Sul Global.
2. Especificidade Temática: O estudo estabelece que os diferenciais de precisão geográfica não são uniformes, mas dependem fortemente do domínio temático. A extrema imprecisão em relação às métricas de computação de IA (Segurança) sugere uma limitação estrutural na capacidade dos LLMs de lidar com dados quantitativos de hardware, independentemente da geografia.
3. Implicações de Governança: Os achados sugerem que nenhum modelo de fronteira de pesos abertos atual é confiável para dados quantitativos precisos de governança de IA. O estudo conclui que a verificação humana contra fontes primárias permanece essencial e que os profissionais devem tratar respostas numéricas sobre infraestrutura de IA com extremo ceticismo.
4. Limitações do Conjunto de Dados: O estudo destaca uma lacuna estrutural na infração de medição de ética de IA global, observando que indicadores dedicados à ética estavam ausentes do conjunto de dados de verdade fundamental durante a maior parte do período de avaliação (2010–2022).

O artigo abstém-se explicitamente de alegar que o viés geográfico está ausente; em vez disso, argumenta que sua manifestação empírica é mais complexa do que uma simples "vantagem do Norte Global", sendo moldada significativamente pela escala e especificidade dos valores verificados no quadro de avaliação.