Resumo Técnico: Dos Valores aos Benchmarks: Avaliando Grandes Modelos de Linguagem para Uso Governamental em Holandês

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implementados em contextos governamentais para melhorar a comunicação pública e a eficiência administrativa. No entanto, as estruturas de avaliação existentes sofrem de duas lacunas críticas quando aplicadas a contextos não ingleses e do setor público:

1. Limitação Linguística: A vasta maioria dos benchmarks é centrada no inglês. O desempenho em benchmarks de inglês não se transfere de forma confiável para outros idiomas, e os benchmarks em holandês existentes muitas vezes dependem de conjuntos de dados traduzidos por máquina ou abordam apenas dimensões isoladas (ex: conhecimento ou raciocínio) sem considerar os valores governamentais.
2. Desalinhamento Contextual: As tabelas de classificação atuais (ex: MMLU) fornecem pontuações técnicas brutas que são ininteligíveis para partes interessadas não técnicas (formuladores de políticas, funcionários públicos). Além disso, nenhum conjunto existente avalia holisticamente os modelos em relação aos valores éticos e operacionais específicos exigidos pela administração pública, como sustentabilidade, viés social e transparência dos dados de treinamento.

Essa falta de uma estrutura de avaliação unificada e alinhada a valores cria riscos significantes para os governos, incluindo a implementação de sistemas opacos, tendenciosos ou factualmente não confiáveis, como evidenciado por falhas históricas na tomada de decisão automatizada no Canadá, nos Países Baixos e na Polônia.

Metodologia

Os autores desenvolveram a estrutura "Grip on LLMs" através de um processo participativo envolvendo a Cidade de Amsterdã e especialistas do domínio. A metodologia consiste em três fases:

1. Identificação e Operacionalização de Valores

As dimensões de avaliação não foram impostas pelos pesquisadores, mas derivadas de três fontes:

• Conselho Consultivo: Nove especialistas internos (inovação, política de IA, sustentabilidade, diversidade) identificaram e priorizaram valores. "Inclusão" e "Factualidade" foram classificados como os mais altos.
• Entrevistas com Profissionais: 18 entrevistas com cientistas de dados e formuladores de políticas revelaram que as pontuações brutas de benchmarks são ininterpretáveis e que os processos de seleção requerem ferramentas legíveis para não especialistas.
• Pesquisa com Usuários: 429 respostas de usuários internos de chatbots confirmaram a prioridade de qualidade e factualidade, embora com menos ênfase em sustentabilidade do que o conselho consultivo.

Esses inputs foram destilados em seis dimensões de avaliação:

1. Factualidade: Precisão ao responder perguntas objetivas.
2. Honestidade: A capacidade de reconhecer limitações em vez de alucinar.
3. Viés Social: Preferências sistemáticas em relação a grupos demográficos.
4. Sustentabilidade: Consumo de energia (pegada de carbono).
5. Custo: Custo financeiro por 1.000 prompts.
6. Transparência dos Dados de Treinamento: Abertura em relação à composição do corpus e licenciamento.

Dois casos de uso específicos também foram definidos: Simplificação de Texto (tornar textos governamentais complexos acessíveis) e Sumarização (processamento de documentos internos).

2. Seleção e Construção de Benchmarks

Para avaliar mais de 30 modelos, os autores selecionaram um conjunto de benchmarks, priorizando conjuntos de dados nativos em holandês ou traduzidos e verificados por humanos em vez de traduções automáticas:

• Factualidade: Utilizou tinyBenchmarks (MMLU, ARC-Challenge, TruthfulQA) com traduções para o holandês. As pontuações foram estimadas usando um estimador GP-IRT para considerar a dificuldade dos itens.
• Honestidade: Um novo benchmark, HONESTCITYBENCH, foi desenvolvido contendo 530 prompts em holandês através de cinco categorias de limitação (ex: informações desatualizadas, dados insuficientes). A avaliação utilizou um protocolo de LLM-como-juiz validado contra anotações humanas.
• Viés Social: Combinou o Dutch BBQ (cenários de QA ambíguos) e o BZK Social Bias (decisões de contratação simuladas) para medir o viés em idade, deficiência, gênero e origem nacional.
• Casos de Uso: A simplificação foi medida no benchmark Dutch Municipal Simplification e INT Duidelijke Taal usando SARI. A sumarização usou conjuntos de dados traduzidos por máquina do CNN/Daily Mail e XSum, medidos via BERTScore.
• Sustentabilidade & Custo: A energia foi medida usando CodeCarbon em GPUs H100 para modelos de pesos abertos. O custo foi calculado com base no preço de tokens (API) ou taxas horárias de GPU (auto-hospedado).

3. Protocolo de Avaliação

O estudo avaliou 31 LLMs ajustados para instrução, incluindo iniciativas europeias (EuroLLM, Apertus), modelos específicos holandeses (GEITje, Fietje) e principais modelos comerciais/multilingues (GPT-4o/5, Mistral, Qwen, Llama). Todos os experimentos foram executados sob condições idênticas (temperatura 0, única GPU H100) para garantir a reprodutibilidade.

Principais Contribuições

1. Estrutura Orientada por Valores: Um conjunto de avaliação sistemático que traduz valores da administração pública em dimensões técnicas mensuráveis, especificamente adaptado para a língua holandesa.
2. Avaliação de Larga Escala: O primeiro benchmarking abrangente de mais de 30 modelos (multilingues e específicos de holandês) através de seis dimensões relevantes para o uso governamental.
3. Novos Benchmarks: A introdução do HONESTCITYBENCH para avaliação de honestidade em holandês e a integração de métricas de viés e sustentabilidade em um conjunto unificado.
4. Ferramental Centrado no Usuário: O lançamento de um LLM Overview (leaderboard) acessível ao público e amigável, projetado para partes interessadas não técnicas, traduzindo métricas complexas em classificações categóricas interpretáveis (escalas de 1–5) e visualizações.

Resultados

A avaliação gerou várias descobertas críticas em relação aos trade-offs inerentes à seleção de modelos:

• Não há Modelo Dominante: Nenhum modelo único se destaca em todas as dimensões. Um alto desempenho em uma área frequentemente exige compensações em outras.
• Qualidade vs. Eficiência: Maior qualidade (factualidade, honestidade, sumarização) correlaciona-se consistentemente com maiores custos financeiros e maior consumo de energia.
• Factualidade vs. Honestidade: Estas são propriedades distintas. O estudo descobriu que alta factualidade não implica alta honestidade. Notavelmente, os modelos de alta capacidade mais recentes (ex: GPT-5, Mistral Large 3) alcançaram as pontuações de factualidade mais altas, mas pontuaram as mais baixas em honestidade, frequentemente fornecendo respostas confiantes, porém incorretas.
• Independência de Viés: As pontuações de viés social são amplamente independentes tanto da qualidade quanto do custo do modelo. Gastar mais ou usar um modelo "mais inteligente" não garante um resultado menos tendencioso.
• Modelos Abertos vs. Fechados: Iniciativas europeias abertas (ex: EuroLLM, Apertus) oferecem transparência total e eficiência competitiva, mas geralmente pontuam mais baixo em métricas de qualidade em comparação com modelos comerciais de alto nível. No entanto, eles fornecem a transparência necessária para a conformidade do setor público.
• Modelos Específicos de Holandês: Modelos como Fietje e GEITje mostraram conhecimento de mundo limitado (baixa factualidade), mas baixo viés, sugerindo que são ferramentas de nicho em vez de substitutos de propósito geral.

Significância e Alegações

O artigo afirma que o implantação responsável de IA no setor público requer ir além da otimização de métrica única. Os autores argumentam que:

• Trade-offs são Inevitáveis: Os formuladores de políticas devem escolher explicitamente quais dimensões priorizar (ex: aceitar custos mais altos para melhor transparência ou menor viés) em vez de buscar o "melhor" modelo.
• A Interpretabilidade é Crucial: Pontuações técnicas devem ser traduzidas em categorias alinhadas a valores para permitir a tomada de decisão por não especialistas.
• A Honestidade é um Recurso de Segurança Crítico: Em contextos governamentais, um modelo que admite ignorância é frequentemente mais seguro do que um que alucina com alta confiança. O desacoplamento de factualidade e honestidade é uma descoberta fundamental para a avaliação de risco.

O trabalho serve como um ponto de partida prático para organizações públicas holandesas selecionarem LLMs, enfatizando que as pontuações de benchmarks são proxies para valores, não definições deles, e devem ser usadas como parte de um processo de avaliação mais amplo e específico para cada tarefa.