💬 NLP

Validity of LLMs as data annotators: AMALIA on authority

Este artigo demonstra que, embora o modelo de linguagem nacional de Portugal, AMALIA, alcance uma alta concordância com codificadores humanos no fundamento moral da autoridade, ele carece de validade de construto por depender de atalhos superficiais em vez de raciocínio teórico, destacando a necessidade de benchmarks nacionais de LLM para avaliar a base de evidências do desempenho do modelo para além da mera concordância.

Autores originais: Manuel Pita

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Manuel Pita

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um novo robô superinteligente chamado AMALIA. É o próprio robô de linguagem de Portugal, construído com dinheiro público para entender e falar o português europeu melhor do que qualquer outro. A grande esperança era que a AMALIA pudesse agir como uma assistente humana super-rápida e super-barata para investigadores. Especificamente, os cientistas queriam usá-la para ler milhares de publicações em redes sociais e perceber se as pessoas estavam a falar sobre "Autoridade" — um conceito complexo que não é apenas sobre a palavra "chefe" ou "polícia", mas sobre se alguém está a respeitar ou a desafiar as regras da hierarquia.

Aqui está a reviravolta: a AMALIA é ótima a adivinhar a resposta certa, mas é péssima a mostrar o seu raciocínio.

O Problema do "Resposta Certa, Razão Errada"

Pense na AMALIA como uma estudante a fazer um teste de matemática.

O Objetivo: O professor pede: "Resolve X usando esta fórmula específica".
O Resultado: A AMALIA escreve o número correto para X.
O Problema: Quando o professor pergunta: "Mostra-me os teus passos", a AMALIA não consegue. Em vez de usar a fórmula, ela simplesmente adivinhou a resposta porque viu um padrão, tipo: "Oh, a palavra 'chefe' está na frase, então a resposta deve ser 'Autoridade'".

No mundo real, isto é perigoso. Se um robô concorda com especialistas humanos 90% das vezes, normalmente dizemos: "Ótimo! Podemos confiar nele!". Mas este artigo argumenta que, para a AMALIA, esse acordo é uma falsa sensação. É como um papagaio que aprende a dizer "Eu amo-te" sempre que vê um humano a sorrir. O papagaio não está a sentir amor; está apenas a associar o sorriso à frase. A AMALIA estava a associar pistas superficiais (como ver um polícia ou ouvir alguém zangado) ao rótulo "Autoridade", em vez de compreender realmente a teoria complexa de poder e respeito que os investigadores estavam a tentar medir.

O Teste da "Caixa Negra"

Para provar isto, os investigadores não perguntaram apenas a grande questão à AMALIA. Eles dividiram a questão em peças minúsculas e simples, como um detetive a decompor um caso em pistas.

A Grande Questão: "Este texto é sobre Autoridade?"
As Pistas Minúsculas: "Menciona um líder?" "Julga o comportamento desse líder?" "Fala de tradição?"

Se a AMALIA compreendesse verdadeiramente o conceito, deveria obter o mesmo resultado quer lhe fizessem a grande questão ou as pistas minúsculas. Mas não aconteceu.

Quando questionada sobre a grande questão, a sua concordância com os especialistas humanos foi de 71%.
Quando questionada sobre as pistas minúsculas e forçada a juntar as peças, a sua concordância caiu para apenas 36%.

Esta queda enorme é chamada de "hiato de recuperação" (recovery gap). É como um mágico a tirar um coelho de um chapéu. Se perguntar "Onde está o coelho?" e o mágico apontar para o chapéu, isso é bom. Mas se perguntar "Mostra-me o coelho dentro do chapéu" e o chapéu estiver vazio, percebe que o mágico estava apenas a usar um truque. O artigo descobriu que o "truque" da AMALIA era basear-se em atalhos superficiais, como ver "indignação moral" perto de uma pessoa poderosa e assumir que é sobre autoridade, mesmo quando não é.

A Comparação com o "Robô Maior"

Os investigadores não testaram apenas a AMALIA; testaram outros dois robôs: Llama (um de tamanho médio) e GPT-OSS (um gigante com 120 mil milhões de parâmetros, comparado com os 9 mil milhões da AMALIA).

O Robô Gigante (GPT-OSS): Quando questionado sobre as mesmas questões complicadas em português, não apresentou um hiato. Conseguia dar a resposta certa e conseguia mostrar o seu raciocínio. Compreendia a teoria.
O Robô de Tamanho Médio (Llama): Tinha um hiato pequeno, mas estava a melhorar.
AMALIA: Tinha um hiato enorme.

Isto prova que o problema não era a língua portuguesa ou os textos específicos utilizados. O problema era o tamanho e o treino do modelo. O artigo sugere que a AMALIA é simplesmente demasiado pequena para lidar com a "granularidade" complexa da teoria. É como tentar construir um arranha-céus com um martelo destinado a uma casinha de passarinho; a ferramenta simplesmente não é grande o suficiente para o trabalho, mesmo que pareça estar a funcionar.

O Que Isto Significa para os Robôs Nacionais

O artigo descarta explicitamente algumas ideias populares:

Não é sobre a língua: Embora a AMALIA seja o robô "da casa" de Portugal, não teve um desempenho superior aos grandes robôs internacionais. De facto, os grandes robôs concordaram com os humanos mais do que a AMALIA.
Concordância não é suficiente: Só porque um robô concorda com os humanos, não significa que esteja a medir a coisa certa. Pode estar apenas a fazer correspondência de padrões (pattern-matching).
Não é uma falha dos criadores do modelo: O artigo elogia a AMALIA por ser aberta e transparente. A questão é que o "padrão de ouro" atual para testar robôs (apenas verificar se concordam com os humanos) é falho.

A Conclusão

Então, a AMALIA é inútil? De todo! O artigo diz que a AMALIA é excelente para triagem (screening) e pré-codificação. Pode ler uma enorme pilha de textos e dizer: "Ei, isto parece interessante, os humanos devem olhar para isto". É um ótimo primeiro filtro.

Mas pode ela medir ideias complexas como a "Autoridade" sozinha? Não. Ainda não.
O artigo conclui que, antes de confiarmos num robô nacional para medir o que os nossos cidadãos pensam e valorizam, precisamos de fazer uma pergunta diferente. Não devemos perguntar apenas: "Concordas com os humanos?". Precisamos de perguntar: "Consegues mostrar o teu raciocínio?"

Até que a AMALIA (ou qualquer modelo nacional pequeno) consiga mostrar o seu raciocínio e provar que está a usar a lógica correta e não apenas a adivinhar com base em pistas superficiais, não está pronta para ser o juiz final. O artigo sugere que, por agora, a AMALIA é uma assistente útil, mas não é a chefe dos dados.

Resumo Técnico: Validade de LLMs como Anotadores de Dados

Problema
O artigo aborda uma lacuna crítica na avaliação de Grandes Modelos de Linguagem (LLMs) como anotadores de dados para a pesquisa em ciências sociais. Embora LLMs nacionais "soberanos" (como o AMALIA de Portugal) estejam sendo cada vez mais implementados para analisar textos locais, sua avaliação tem dependido historicamente da confiabilidade (concordância com codificadores humanos) em vez da validade de constructo (fidelidade à definição teórica do constructo sendo medido).

O problema central é que uma alta concordância entre um LLM e anotadores humanos não garante que o modelo esteja medindo o constructo teórico pretendido. Em vez disso, o modelo pode estar alcançando a concordância através de "correlatos superficiais" ou atalhos (por exemplo, detectando indignação moral perto de uma autoridade em vez da postura específica sobre hierarquia exigida pela teoria). Como os LLMs são caixas pretas, as métricas de concordância padrão não conseguem distinguir entre uma inferência genuína e uma correlação espúria. Isso é particularmente urgente para modelos soberanos, onde a suposição é que um modelo treinado em dados e linguagem locais servirá naturalmente como um instrumento de medição superior para aquela comunidade.

Metodologia
O estudo emprega um método de calibragem de grão (grain calibration) para sondar o caminho inferencial do LLM, indo além da concordância holística para testar a validade do instrumento de medição.

Constructo e Corpus: O estudo foca no fundamento moral "autoridade/subversão" da Teoria dos Fundamentos Morais. O conjunto de dados consiste em 748 textos do Moral Foundations Reddit Corpus (MFRC), transcreados para o português europeu (pt-PT) via um rigoroso pipeline de "transcriação". Este pipeline garante que o significado, a postura e os referentes sejam preservados enquanto se adapta o idioma e o registro, com geração cega e adjudicação humana para evitar o vazamento de códigos (code leakage).
Modelos: O objeto principal é o AMALIA-9B, um modelo de 9 bilhões de parâmetros para português europeu. Ele é comparado a dois modelos multilingues de pesos abertos maiores: Llama-3.3-70B e GPT-OSS-120B.
O Hiato de Recuperação ( $\Delta$ ): A métrica central é o "hiato de recuperação" (recovery gap), definido como $\Delta = F^u_1 - F^d_1$ $Δ = F_{1}^{u} - F_{1}^{d}$ .
- $F^u_1$ : Desempenho (escore F1) do prompt não decomposto (instrução holística).
- $F^d_1$ : Desempenho do prompt decomposto, onde o constructo é dividido em cláusulas atômicas (detecção, distinção, avaliação) e recombinado via uma regra de integração booleana estrita derivada da teoria.
- Um $\Delta \approx 0$ indica que o modelo mede o constructo conforme definido pela teoria. Um $\Delta$ grande indica que o modelo depende de atalhos não especificados pela teoria.
Desenho Experimental: O estudo testa o AMALIA sob instruções em inglês e português no corpus em português. Compara seus resultados com os modelos de referência no mesmo corpus e com o desempenho desses modelos de referência no corpus original em inglês. O estudo é pré-registrado, com hipóteses fixadas antes dos testes confirmatórios em um conjunto de teste retido de 448 textos.

Principais Resultados

Alta Confiabilidade, Baixa Validade para o AMALIA: O AMALIA alcança alta concordância com anotadores humanos (F1 Holístico $\approx 0,71$ ), comparável a modelos 8 a 13 vezes maiores. No entanto, apresenta um grande hiato de recuperação ( $\Delta \approx 0,36$ sob instruções em português e $0,44$ sob instruções em inglês). Isso indica que a decomposição recupera apenas cerca de metade do desempenho holístico do AMALIA.
Correlatos Superficiais vs. Teoria: A análise de erro revela que os falsos positivos do AMALIA são amplamente impulsionados por correlatos superficiais, como "indignação moral genérica" perto de figuras de autoridade ou a mera presença de uma figura de autoridade, em vez da postura avaliativa exigida sobre a hierarquia. Em 78% dos falsos positivos, o modelo baseou-se em bases superficiais em vez da definição teórica do constructo.
Falha Específica do Modelo: A falha é específica do AMALIA, não do corpus ou do idioma.
- O GPT-OSS-120B fecha o hiato no corpus em português ( $\Delta \approx 0,03$ ), performando de forma semelhante aos seus resultados em inglês.
- O Llama-3.3-70B mostra um hiato moderado ( $\Delta \approx 0,12$ ), que é maior que seu desempenho em inglês, mas significativamente menor que o do AMALIA.
- Isso sugere que o problema é o "instrumento-modelo-constructo" (especificamente a capacidade do modelo de 9B de executar o grão teórico), e não o idioma português ou o corpus transcreado.
Idioma da Instrução: A hipótese de que instruções em português reduziriam o hiato não foi estatisticamente suportada ( $\Delta_{pt} = 0,358$ vs. $\Delta_{en} = 0,436$ ; o intervalo de confiança para a diferença incluiu zero). Embora a direção fosse consistente com a hipótese, o efeito não foi significativo.

Principais Contribuições

Operacionalização da Validade de Constructo: O artigo introduz e aplica o "hiato de recuperação" como uma ferramenta diagnóstica para distinguir entre concordância confiável e medição válida em LLMs. Demonstra que a concordância por si só é insuficiente para validar LLMs como instrumentos científicos.
Avaliação de Modelos Soberanos: Fornece o primeiro estudo de validade de um LLM nacional (AMALIA) em sua língua nativa, desafiando a suposição de que modelos de "língua local" possuem automaticamente uma validade de medição superior.
Pipeline de Transcriação: Detalha um pipeline rigoroso e pré-registrado para a criação de corpora translingues para validação de constructo, garantindo que a transferência de código seja justificada por verificação, e não por suposição.
Análise de Erro Granular: Ao decompor os prompts em cláusulas atômicas, o estudo identifica modos de falha específicos (ex: dependência de indignação moral como um proxy para autoridade) que métricas holísticas ocultam.

Significância e Alegações
O artigo conclui que, embora o AMALIA seja um anotador confiável (produzindo códigos que coincidem com o consenso humano), ele ainda não é um instrumento válido para medir o constructo teórico de autoridade. Ele produz os códigos "certos" pelas razões "erradas", baseando-se em padrões superficiais em vez das inferências teóricas exigidas pela definição do constructo.

Os autores argumentam que, para que programas de LLM soberanos sejam confiáveis para tarefas de medição, eles devem ir além das métricas de concordância. A questão crítica não é se o modelo concorda com os humanos, mas se ele consegue "mostrar seu trabalho" executando os passos inferenciais específicos definidos pela teoria. O estudo sugere que modelos nacionais menores podem carecer do "grão executável" para realizar decomposições teóricas complexas sem recalibragem, e que a evidência de validade deve ser gerada para usos de medição específicos, não apenas para benchmarks de linguagem geral. O artigo afirma explicitamente que o AMALIA é adequado para triagem e pré-codificação, mas não para a medição autônoma de constructos teóricos.