Resumen Técnico: De los Valores a los Benchmarks: Evaluación de Modelos de Lenguaje Extensos para el Uso Gubernamental en Holandés

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés) se despliegan cada vez más en entornos gubernamentales para mejorar la comunicación pública y la eficiencia administrativa. Sin embargo, los marcos de evaluación existentes sufren dos brechas críticas cuando se aplican a contextos no ingleses y del sector público:

1. Limitación Lingüística: La gran mayoría de los benchmarks están centrados en el inglés. El rendimiento en los benchmarks en inglés no se transfiere de manera fiable a otros idiomas, y los benchmarks en holandés existentes suelen depender de conjuntos de datos traducidos mediante máquinas o abordan solo dimensiones aisladas (por ejemplo, conocimiento o razonamiento) sin considerar los valores gubernamentales.
2. Desalineación Contextual: Las tablas de clasificación actuales (por ejemplo, MMLU) proporcionan puntuaciones técnicas brutas que resultan ininteligibles para las partes interesadas no técnicas (responsables de políticas, funcionarios públicos). Además, ningún conjunto existente evalúa de manera holística los modelos frente a los valores éticos y operativos específicos requeridos para la administración pública, tales como la sostenibilidad, el sesgo social y la transparencia de los datos de entrenamiento.

Esta falta de un marco de evaluación unificado y alineado con los valores crea riesgos signific efectivos para los gobiernos, incluyendo el despliegue de sistemas opacos, sesgados o fácticamente poco fiables, como lo demuestran los fallos históricos en la toma de decisiones automatizada en Canadá, los Países Bajos y Polonia.

Metodología

Los autores desarrollaron el marco "Grip on LLMs" a través de un proceso participativo que involucró a la Ciudad de Ámsterdam y a expertos en la materia. La metodología consta de tres fases:

1. Identificación y Operacionalización de Valores

Las dimensiones de evaluación no fueron impuestas por los investigadores, sino derivadas de tres fuentes:

• Consejo Asesor: Nueve expertos internos (innovación, política de IA, sostenibilidad, diversidad) identificaron y priorizaron los valores. "Inclusión" y "Veracidad" fueron calificados con la puntuación más alta.
• Entrevistas con Profesionales: 18 entrevistas con científicos de datos y responsables de políticas revelaron que las puntuaciones brutas de los benchmarks son ininterpretables y que los procesos de selección requieren herramientas legibles para no expertos.
• Encuesta de Usuarios: 429 respuestas de usuarios de chatbots internos confirmaron la prioridad de la calidad y la veracidad, aunque con un énfasis menor en la sostenibilidad que el consejo asesor.

Estos aportes se destilaron en seis dimensiones de evaluación:

1. Veracidad (Factuality): Precisión al responder preguntas objetivas.
2. Honestidad: La capacidad de reconocer limitaciones en lugar de alucinar.
3. Sesgo Social: Preferencias sistemáticas hacia grupos demográficos.
4. Sostenibilidad: Consumo de energía (huella de carbono).
5. Costo: Costo financiero por cada 1.000 prompts.
6. Transparencia de los Datos de Entrenamiento: Apertura respecto a la composición del corpus y las licencias.

También se definieron dos casos de uso específicos: Simplificación de Texto (hacer accesible el texto gubernamental complejo) y Resumen (procesar documentos internos).

2. Selección y Construcción de Benchmarks

Para evaluar más de 30 modelos, los autores seleccionaron un conjunto de benchmarks, priorizando conjuntos de datos nativos en holandés o traducidos y verificados por humanos sobre las traducciones automáticas:

• Veracidad: Se utilizaron tinyBenchmarks (MMLU, ARC-Challenge, TruthfulQA) con traducciones al holandés. Las puntuaciones se estimaron utilizando un estimador GP-IRT para tener en cuenta la dificultad de los ítems.
• Honestidad: Se desarrolló un nuevo benchmark, HONESTCITYBENCH, que contiene 530 prompts en holandés a través de cinco categorías de limitación (por ejemplo, información desactualizada, datos insuficientes). La evaluación utilizó un protocolo de "LLM como juez" validado contra anotaciones humanas.
• Sesgo Social: Combinó Dutch BBQ (escenarios de preguntas y respuestas ambiguos) y BZK Social Bias (decisiones de contratación simuladas) para medir el sesgo a través de edad, discapacidad, género y origen nacional.
• Casos de Uso: La simplificación se midió con el Dutch Municipal Simplification benchmark e INT Duidelijke Taal utilizando SARI. El resumen utilizó conjuntos de datos traducidos por máquina de CNN/Daily Mail y XSum, medidos mediante BERTScore.
• Sostenibilidad y Costo: La energía se midió utilizando CodeCarbon en GPUs H100 para modelos de pesos abiertos. El costo se calculó basándose en el precio de los tokens (API) o las tarifas por hora de la GPU (autoalojado).

3. Protocolo de Evaluación

El estudio evaluó 31 LLM ajustados por instrucciones (instruction-tuned), incluyendo iniciativas europeas (EuroLLM, Apertus), modelos específicos de los Países Bajos (GEITje, Fietje) y los principales modelos comerciales y multilingües (GPT-4o/5, Mistral, Qwen, Llama). Todos los experimentos se ejecutaron bajo condiciones idénticas (temperatura 0, una sola GPU H100) para asegurar la reproducibilidad.

Contribuciones Clave

1. Marco Impulsado por Valores: Un conjunto de evaluación sistemático que traduce los valores de la administración pública en dimensiones técnicas medibles, adaptado específicamente para el idioma holandés.
2. Evaluación a Gran Escala: El primer benchmarking integral de más de 30 modelos (multilingües y específicos de los Países Bajos) a través de seis dimensiones relevantes para el uso gubernamental.
3. Nuevos Benchmarks: La introducción de HONESTCITYBENCH para la evaluación de la honestidad en holandés y la integración de métricas de sesgo y sostenibilidad en un conjunto unificado.
4. Herramientas Centradas en el Usuario: El lanzamiento de un LLM Overview (tabla de clasificación) accesible al público y fácil de usar, diseñado para partes interesadas no técnicas, que traduce métricas complejas en calificaciones categóricas interpretables (escalas de 1 a 5) y visualizaciones.

Resultados

La evaluación arrojó varios hallazgos críticos con respecto a las compensaciones (trade-offs) inherentes a la selección de modelos:

• No hay un Modelo Dominante: Ningún modelo único sobresale en todas las dimensiones. Un alto rendimiento en un área a menudo requiere compensaciones en otras.
• Calidad vs. Eficiencia: Una mayor calidad (veracidad, honestidad, resumen) se correlaciona consistentemente con mayores costos financieros y un mayor consumo de energía.
• Veracidad vs. Honestidad: Estas son propiedades distintas. El estudio encontró que una alta veracidad no implica una alta honestidad. Notablemente, los modelos de alta capacidad más recientes (por ejemplo, GPT-5, Mistral Large 3) alcanzaron las puntuaciones de veracidad más altas, pero obtuvieron las puntuaciones más bajas en honestidad, proporcionando a menudo respuestas seguras pero incorrectas.
• Independencia del Sesgo: Las puntuaciones de sesgo social son en gran medida independientes tanto de la calidad del modelo como del costo. Gastar más o utilizar un modelo "más inteligente" no garantiza un resultado menos sesgado.
• Modelos Abiertos vs. Cerrados: Las iniciativas abiertas europeas (por ejemplo, EuroLLM, Apertus) ofrecen transparencia total y una eficiencia competitiva, pero generalmente puntúan más bajo en métricas de calidad en comparación con los modelos comerciales de primer nivel. Sin embargo, proporcionan la transparencia necesaria para el cumplimiento del sector público.
• Modelos Específicos de los Países Bajos: Modelos como Fietje y GEITje mostraron un conocimiento del mundo limitado (baja veracidad) pero un bajo sesgo, lo que sugiere que son herramientas de nicho en lugar de reemplazos de propósito general.

Significado y Reivindicaciones

El artículo sostiene que el despliegue responsable de la IA en el sector público requiere ir más allá de la optimización de una sola métrica. Los autores argumentan que:

• Las Compensaciones son Inevitables: Los responsables de la formulación de políticas deben elegir explícitamente qué dimensiones priorizar (por ejemplo, aceptar mayores costos para obtener mejor transparencia o menor sesgo) en lugar de buscar el "mejor" modelo.
• La Interpretabilidad es Crucial: Las puntuaciones técnicas deben traducirse en categorías alineadas con los valores para permitir la toma de decisiones por parte de no expertos.
• La Honestidad es una Característica de Seguridad Crítica: En contextos gubernamentales, un modelo que admite la ignorancia es a menudo más seguro que uno que alucina con alta confianza. La separación de la veracidad y la honestidad es un hallazgo clave para la evaluación de riesgos.

Este trabajo sirve como un punto de partida práctico para las organizaciones públicas de los Países Bajos para seleccionar LLMs, enfatizando que las puntuaciones de los benchmarks son aproximaciones (proxies) de los valores, no definiciones de ellos, y deben utilizarse como parte de un proceso de evaluación más amplio y específico para cada tarea.