Benchmarking Open-Weight Foundation Models for Global AI Technical Governance

Resumen Técnico: Evaluación comparativa de modelos fundacionales de pesos abiertos para la gobernanza técnica global de la IA

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM) se utilizan cada vez más para sintetizar datos de gobernanza de la IA transnacionales. Sin embargo, la literatura existente sugiere que estos modelos sufaden un "sesgo geográfico", produciendo respuestas menos precisas para los países subrepresentados en los datos de entrenamiento (principalmente naciones del Sur Global). Los estudios empíricos previos sobre este fenómeno están metodológicamente comprometidos por tres limitaciones críticas: (1) la dependencia de modelos propietarios de código cerrado que impiden la replicación independiente; (2) la evaluación del conocimiento del modelo respecto a años posteriores al corte de los datos de entrenamiento, lo que confunde la ignorancia temporal con el sesgo geográfico; y (3) el uso de esquemas de clasificación binaria gruesa que no logran distinguir entre la fabricación confiada (alucinación) y el reconocimiento honesto de la incertidumbre. Estas limitaciones socavan la validez de los hallazgos relativos a la equidad geográfica en el análisis de la gobernanza de la IA.

Metodología
Este estudio aborda las limitaciones mencionadas mediante un marco de evaluación riguroso y reproducible que involucra cuatro modelos de lenguaje de frontera de pesos abiertos: Llama 4 Maverick de Meta, Mistral Large 3 de Mistral AI, Qwen3-235B-A22B de Alibaba Cloud y DeepSeek-V3-0324 de DeepSeek. La selección garantiza un equilibrio geopolítico, con dos modelos de desarrolladores occidentales y dos de desarrolladores chinos.

La evaluación utiliza el Global AI Dataset v2 (GAID v2), una base de datos de verdad de terreno verificada que contiene 24,453 indicadores de 227 países. De esta, se seleccionaron 18 indicadores mapeados a las ocho dimensiones temáticas del marco IEEE IRAI 2026 (Ética, Seguridad, Protección, Transparencia, Equidad, Responsabilidad, Regulación y Adopción). El estudio generó aproximadamente 2,990 observaciones de país-métrica-año a través de seis años de evaluación (2010, 2013, 2016, 2019, 2022, 2023).

Para cada observación, se generaron tres variantes de consulta (numérica directa, comparativa regional y de encuadre de gobernanza contextual), resultando en un total de 35,880 prompts. Las respuestas se clasificaron utilizando un esquema basado en reglas de cinco categorías: Veracidad Verificada (VF), Fabricación Confiada (HF), Rechazo Honesto (HR), Ambigüedad Cualitativa (QH) y Atribución Errónea (MF). El análisis estadístico empleó una regresión logística de efectos mixtos para estimar las disparidades geográficas y un diseño de diferencia en diferencias (DiD) para evaluar si el origen nacional del desarrollador del modelo modera los diferenciales de precisión.

Resultados Clave
Contrario a la hipótesis dominante en la literatura existente, el estudio encontró que las tasas de fabricación fueron significamente más altas para los países del Norte Global que para los países del Sur Global en los cuatro modelos.

• Variación Regional: África exhibió la media de Veracidad Verificada más alta (35.1%), seguida de las Américas (30.2%), mientras que Europa (24.4%) y Oceanía (23.5%) mostraron una precisión menor. África tuvo probabilidades significativamente menores de fabricación en comparación con Europa (OR=0.52).
• Desempeño del Modelo: Mistral Large 3 demostró la mayor precisión (menor tasa de fabricación con 61.2%), mientras que Llama 4 Maverick tuvo la mayor tasa de fabricación (85.1%). La identidad del modelo fue el predictor más fuerte de la tasa de fabricación.
• Origen del Desarrollador: El análisis DiD proporcionó evidencia solo marginal (p=0.076) de que el origen del desarrollador modera el sesgo geográfico. Los modelos de origen chino mostraron una ligera ventaja de precisión para las consultas del Sur Global en comparación con los modelos de origen occidental, pero el efecto fue pequeño y no fue robusto tras las correcciones de comparaciones múltiples.
• Variación Temática: La precisión varió drásticamente según el tema. La dimensión de "Seguridad" (específicamente la capacidad de cómputo de IA y los parámetros del modelo) exhibió una fabricación casi total (tasas de VF cercanas a 0%), mientras que la dimensión de "Regulación" mostró la mayor precisión (42.2% VF). El Análisis de Componentes Principales (PCA) reveló que el sesgo geográfico no es un factor único y general, sino que es difuso y está estructurado temáticamente, requiriendo 15 componentes para explicar el 90% de la varianza.
• Efectos Temporales: La proximidad al corte de los datos de entrenamiento no explicó independientemente los patrones de precisión geográfica una vez que se controlaron la identidad del modelo y las dimensiones temáticas.
• Comportamiento de Respuesta: Los Rechazos Honestos (HR) estuvieron efectivamente ausentes (<0.1%), lo que indica que los modelos de frontera casi nunca declinan responder consultas fácticas, optando en su lugar por proporcionar estimaciones numéricas independientemente de la certeza del conocimiento.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evaluación rigurosa y reproducible del sesgo geográfico utilizando modelos de pesos abiertos y un conjunto de datos de verdad de terreno verificado. Sus principales contribuciones incluyen:

1. Corrección Metodológica: Demuestra que los hallazgos previos de sesgo geográfico pueden estar confundidos por límites temporales y esquemas de clasificación binaria. Al distinguir la fabricación del rechazo, el estudio revela una realidad más compleja donde los modelos a menudo fabrican con confianza para indicadores de alto valor del Norte Global en lugar de simplemente rechazar las consultas del Sur Global.
2. Especificidad Temática: El estudio establece que los diferenciales de precisión geográfica no son uniformes, sino que dependen fuertemente del dominio temático. La extrema inexactitud respecto a las métricas de cómputo de IA (Seguridad) sugiere una limitación estructural en la capacidad de los LLM para manejar datos de hardware cuantitativos, independientemente de la geografía.
3. Implicaciones de Gobernanza: Los hallazgos sugieren que ningún modelo de frontera de pesos abiertos actual es confiable para datos cuantitativos precisos de gobernanza de la IA. El estudio concluye que la verificación humana contra fuentes primarias sigue siendo esencial y que los profesionales deben tratar las respuestas numéricas sobre infraestructura de IA con extremo escepticismo.
4. Limitaciones del Conjunto de Datos: El estudio destaca una brecha estructural en la infraestructura de medición de la ética de la IA global, señalando que los indicadores dedicados a la ética estaban ausentes del conjunto de datos de verdad de terreno para la mayor parte del periodo de evaluación (2010–2022).

El artículo se abstiene explícitamente de afirmar que el sesgo geográfico está ausente; más bien, argumenta que su manifestación empírica es más compleja que una simple "ventaja del Norte Global", estando moldeada significamente por la escala y especificidad de los valores verificados en el marco de evaluación.