📈 economics

Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

Este estudo demonstra que modelos de linguagem de pesos abertos não são ferramentas intercambiáveis para análise de políticas, uma vez que a seleção do modelo — em vez da temperatura de amostragem — impulsiona divergências estáveis e estruturadas nas preferências de política econômica ao mesmo tempo em que mantém o consenso sobre questões institucionais e ambientais, tornando a escolha do modelo uma decisão de governança crítica.

Autores originais: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Publicado 2026-07-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Nem Todo Chef de IA Cozinha o Mesmo Prato

Imagine que você é um funcionário do governo tentando decidir sobre uma nova política econômica. Você pede o conselho de uma IA. A maioria das pessoas assume que, se perguntarem a cinco modelos de IA diferentes a mesma questão, receberão cinco versões ligeiramente diferentes da mesma resposta, como pedir a cinco pessoas diferentes para recitarem o mesmo poema.

Este artigo argumenta que essa suposição está errada.

Em vez de serem ferramentas intercambiáveis, os autores descobriram que diferentes modelos de IA são como chefs diferentes com personalidades e filosofias políticas distintas. Se você lhes fizer a mesma pergunta sobre a economia, eles não darão apenas palavras diferentes; eles frequentemente escolherão receitas completamente diferentes baseadas em seus próprios "gostos" ocultos.

O Experimento: O Teste de Degustação da IA

Os pesquisadores organizaram um grande teste de degustação.

A Despensa: Eles reuniram 40 modelos de IA "open-weight" diferentes (estes são modelos que qualquer pessoa pode baixar e rodar em seu próprio computador, ao contrário dos modelos secretos de propriedade das grandes empresas de tecnologia).
O Menu: Eles deram a cada um dos modelos exatamente o mesmo questionário. As perguntas cobriam tópicos difíceis como inflação, desemprego, habitação e relações internacionais.
As Regras: Para cada pergunta, os modelos tinham que avaliar quatro respostas possíveis diferentes (A, B, C ou D) em uma escala de 0 a 100.
A Repetição: Para garantir que os resultados não fossem apenas falhas aleatórias, eles fizeram cada modelo responder às mesmas perguntas 100 vezes cada.

O Que Eles Descobriram

1. A "Personalidade" é Real, Não Aleatória

Quando você joga uma moeda, o resultado é aleatório. Quando você faz uma pergunta a uma IA, pode esperar algum nível de aleatoriedade também. Os pesquisadores descobriram que a aleatoriedade (ruído) era, na verdade, muito pequena.

A Analogia: Imagine um coro. Se os cantores estivessem apenas fazendo barulhos aleatórios, o som seria uma bagunça. Mas aqui, os pesquisadores descobriram que a "voz" de cada cantor (cada modelo de IA) era muito distinta e estável.
O Resultado: Cerca de 57% das diferenças nas respostas vieram de qual modelo estava respondendo. Alterar a "temperatura" (uma configuração que torna a IA mais ou menos aleatória) mal mudou a resposta (menos de 2%). Isso significa que os modelos possuem vieses estáveis e integrados que não desaparecem apenas porque você ajusta uma configuração.

2. Eles Concordam sobre "Quem Está no Comando", mas Brigam sobre "Como Gastar o Dinheiro"

Os pesquisadores usaram um mapa estatístico (como um GPS para ideias) para ver onde os modelos se posicionavam. Eles encontraram duas principais "linhas de falha" onde os modelos divergiam:

A Linha da "Confiança nas Instituições" (Onde eles concordam em grande parte): Quase todos os modelos concordaram que organizações internacionais, regras e instituições formais são importantes. Todos geralmente gostaram da ideia de seguir as regras e confiar em especialistas.
A Linha da "Filosofia Econômica" (Onde eles brigam): É aqui que os modelos se dividem.
- Grupo A (Os Amantes do Mercado): Estes modelos preferem deixar o livre mercado decidir, cortar regulamentações e priorizar o crescimento.
- Grupo B (Os Intervencionistas): Estes modelos preferem que o governo intervenha para corrigir a desigualdade, controlar preços e proteger o meio ambiente, mesmo que isso reduza o crescimento.

O Teste da "Estagflação":
Os pesquisadores fizeram uma pergunta clássica e difícil: "O país tem inflação ALTA E desemprego ALTO. O que fazemos?"

Alguns modelos disseram: "Esmague a inflação, mesmo que as pessoas percam empregos."
Outros disseram: "Salve os empregos, mesmo que os preços subam."
Outros disseram: "Crie regras rígidas para ambos."
Outros disseram: "Use uma mistura de controles estranhos e experimentais."
O Choque: Cada uma dessas quatro respostas foi a "escolha principal" para pelo menos alguns dos modelos. Não houve uma única "resposta de IA".

3. A Armadilha da "Confiança"

Uma das descobertas mais interessantes foi sobre a confiança.

Alguns modelos eram muito tímidos e diziam: "Não tenho certeza" (pontuações de confiança baixas).
Outros eram muito barulhentos e diziam: "Eu sei a resposta!" (pontuações de confiança altas).
A Reviravolta: A confiança de um modelo não dependia do quão difícil era a pergunta. Dependia inteiramente de qual modelo era.
A Analogia: É como um aluno que sempre tira C, mas diz "Tenho 100% de certeza de que estou certo", enquanto outro aluno tira A, mas diz "Só tenho 50% de certeza". Se você for um formulador de políticas, pode ser enganado ao confiar no modelo barulhento e confiante, mesmo que ele seja tão enviesado quanto o modelo quieto.

4. Tamanho Não Significa "Melhor" Política

Você pode pensar que uma IA maior e mais inteligente (com mais "poder cerebral") teria uma visão política mais equilibrada ou "correta".

A Descoberta: Modelos maiores eram ligeiramente mais consistentes (menos ruidosos), mas não tinham uma opinião política diferente dos modelos menores.
A Analogia: Um robô gigante e superinteligente e um robô pequeno e simples podem ser ambos "Amantes do Mercado" ou ambos "Intervencionistas". Você não pode adivinhar o viés político de um modelo apenas olhando para o seu tamanho ou nome de marca.

A Conclusão: Escolher um Modelo é uma Escolha Política

O artigo conclui que escolher qual IA usar não é um detalhe técnico; é uma decisão de política pública.

A Metáfora: Se você contratar um consultor para escrever um relatório sobre a economia, está contratando uma pessoa com uma visão de mundo específica. Se você contratar o Modelo de IA X, está contratando um "Conservador de Mercado". Se você contratar o Modelo de IA Y, está contratando um "Intervencionista Governamental".
O Perigo: Se você não souber disso, pode pensar que a IA está lhe dando um fato neutro e objetivo. Mas, na realidade, a IA está injetando silenciosamente seus próprios valores ocultos em suas decisões políticas.

A Lição:
Antes de usar IA para ajudar a tomar decisões governamentais, precisamos tratá-la como um especialista humano: Verifique o histórico deles, conheça seus vieses e não confie apenas na opinião de uma única pessoa. Precisamos perguntar a várias IAs diferentes e comparar suas respostas para ver o quadro completo, em vez de deixar um único modelo "padrão" decidir nosso futuro por nós.

Resumo Técnico: Seleção de Modelo como Escolha de Política

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais integrados na análise de políticas, planejamento estratégico e suporte à decisão. No entanto, o trabalho aplicado frequentemente trata modelos individuais como instrumentos intercambiáveis, uma suposição raramente testada empiricamente. O artigo postula que essa suposição é falha: quando tarefas e prompts são mantidos constantes, os LLMs ainda podem diferir sistematicamente na forma como enquadram dilemas econômicos e institucionais. Essas diferenças não são meramente ruído de decodificação, mas refletem orientações estáveis incorporadas nos dados de treinamento, arquitetura e objetivos de alinhamento. Consequentemente, a escolha de um modelo específico em contextos de política não é um detalhe técnico neutro, mas uma decisão de governança substantiva que influencia a narrativa, as ênfases normativas e os trade-offs destacados nas propostas de políticas.

Metodologia
O estudo emprega um design experimental controlado e reproduzível para mapear as regularidades comportamentais de 40 LLMs de pesos abertos executados localmente via Ollama.

Geração de Dados: Um questionário de múltipla escolha fixo foi administrado a todos os modelos. O instrumento abrange trade-offs macrofiscais, dilemas regulatórios, instituições internacionais, percepções de figuras públicas e estruturas interpretativas político-econômicas.
Protocolo Experimental:
- Replicação: Cada modelo respondeu ao questionário completo 100 vezes em duas temperaturas de amostragem ( $T=0.2$ e $T=0.8$ ) para distinguir orientações estáveis de ruído estocástico.
- Pontuação: Para cada item, os modelos atribuíram uma pontuação (0–100) a quatro quadros de resposta predefinidos (A–D).
- Normalização: As respostas foram centralizadas em relação à média dentro da questão para remover efeitos de nível, focando na ordenação de preferência relativa.
Pipeline Analítico:
1. Decomposição de Variância: A variância total no suporte às opções foi decomposta em variância entre modelos, efeitos de temperatura e ruído de replicação.
2. Redução de Dimensionalidade: A Análise de Componentes Principais (PCA) ponderada foi aplicada aos perfis de resposta agrupados por modelo para identificar eixos latentes de variação.
3. Agrupamento (Clustering): Os modelos foram agrupados no espaço de pontuação PCA (usando os primeiros 16 componentes) para derivar uma tipologia discreta de "tipos" de modelos.
4. Validação: Os eixos de PCA derivados dos dados foram validados contra uma taxonomia de eixos ideológicos codificada manualmente (ex: confiança institucional, estado-mercado econômico) para garantir a validade do construto.
5. Decomposição Tópica: O estudo localizou onde a heterogeneidade se concentra, comparando as "inclinações" dos modelos através de domínios tópicos específicos.

Resultados Principais

Sinal vs. Ruído: A identidade do modelo explica 57% da variação no suporte às opções, enquanto a temperatura de amostragem explica menos de 2%. A variância restante é ruído de replicação, que varia significamente por modelo (variando de 3% a 79%). Os perfis de resposta dentro do mesmo modelo são altamente estáveis entre temperaturas (correlação mediana $r=0.99$ ), confirmando que as diferenças são orientações estáveis e não artefatos de decodificação.
Dimensões Latentes: A PCA recuperou dois eixos dominantes e interpretáveis:
1. Dimensão de Confiança Institucional (PC1): Contrasta enquadramentos institucionais, coordenados e tecnocráticos (polo positivo) contra enquadramentos de soberania prioritária, centrados no executivo ou de barganha ad hoc (polo negativo). Este eixo correlaciona-se fortemente ( $r=0.92$ ) com a confiança institucional codificada manualmente.
2. Dimensão Econômica-Ambiental (PC2): Contrasta enquadramentos de crescimento de mercado/eficiência primeiro contra enquadramentos de sustentabilidade regulada/verde/redistributiva. Este eixo correlaciona-se com o eixo estado-mercado econômico ( $r=0.48$ ) e ambição climática ( $|r|=0.60$ ).
Tipologia: O agrupamento resultou em oito tipos distintos de modelos, variando de "previsão literalista" e "pragmático-intervencionista" a "saliente ao risco e soberania" e "polarizado, inclinado ao Estado".
Heterogeneidade Específica por Tópico:
- Consenso: Os modelos são quase unânimes sobre confiança institucional, abertura e enquadramentos climáticos (ex: 98% inclinam-se para a ambição climática e confiança institucional).
- Divergência: Os modelos dividem-se drasticamente em questões econômicas. Em um único item de estagflação, todos os quatro quadros de política foram a escolha principal para algum subconjunto de modelos. Apenas cerca de um em cinco modelos inclina-se para o "mercado" no eixo estado-mercado econômico, enquanto o restante inclina-se para o "Estado".
- Estabilidade: A orientação econômica não é um traço global fixo; a postura de um modelo em uma questão econômica prevê fracamente sua postura em outra ( $\alpha$ de Cronbach $= 0.58$ ).
Confiança e Escala: A autoconfiança relatada é amplamente uma propriedade fixa do modelo (55% da variância) em vez de um reflexo da dificuldade ou contestação da questão. A escala maior do modelo prevê maior consistência (menor ruído), mas não prevê uma orientação política ou preferência de política específica.

Principais Contribuições

Evidência Empírica de Não-Intercambiabilidade: O estudo fornece evidências robustas de que os LLMs de pesos abertos não são intercambiáveis em contextos de política. Suas diferenças são estruturadas, estáveis e significativas o suficiente para alterar recomendações e justificativas de políticas.
Framework Metodológico: Introduz um pipeline reproduzível para auditar o comportamento do modelo, separando orientações persistentes de ruído de amostragem e mapeando modelos em dimensões ideológicas interpretáveis.
Tipologia do Comportamento do Modelo: Estabelece uma tipologia compacta de oito "tipos de modelos" baseada em seus perfis de resposta, oferecendo uma forma de categorizar modelos por sua lógica de política subjacente, em vez de apenas benchmarks de desempenho.
Reenquadramento da Seleção de Modelo: O artigo argumenta que a seleção de modelos é uma decisão de governança relevante. Demonstra que os "valores" incorporados nos modelos são mensuráveis e contestáveis, desafiando a noção do modelo como um sistema neutro de recuperação de informação.

Significância e Alegações
O artigo afirma que os riscos sociais da seleção de modelos são centrais para a comparação técnica de modelos. Ao demonstrar que os modelos convergem em enquadramentos institucionais e cosmopolitas, mas divergem em questões econômicas e distributivas, os autores argumentam que a escolha do modelo condiciona tanto o enquadramento de política recomendado quanto sua justificativa.

A significância reside na mudança da perspectiva de "encontrar o modelo correto" para "tornar visíveis as orientações do modelo". Os autores sustentam que tratar a seleção de modelos como um detalhe técnico obscurece as escolhas de valores inerentes à automação de políticas. Em vez disso, eles propõem que:

A seleção de modelos deve ser tratada como uma decisão de governança, semelhante aos testes de robustez em economia empírica.
O teste de estresse multi-modelo é necessário para revelar a sensibilidade das conclusões às tendências latentes de enquadramento.
Tornar os valores incorporados nos modelos visíveis e contestáveis é uma precondição para seu uso responsável no trabalho de políticas.

O estudo conclui que, embora os modelos não sejam neutros, suas orientações específicas não são arbitrárias; elas são estruturadas, mensuráveis e consequentes. Portanto, a escolha do instrumento deve permanecer um ato deliberado e responsável para garantir que a sociedade molde esses sistemas, em vez de ser silenciosamente moldada por eles.