Resumo Técnico: Orientação para o Prestígio Crítico em Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são treinados em corpora que contêm vastas quantidades de julgamento humano sobre objetos culturais como filmes, livros e música. Embora pesquisas anteriores tenham documentado extensivamente os vieses sociais em LLMs em relação a demografia, nacionalidade e política, o grau em que os modelos reproduzem sistematicamente hierarquias culturais — especificamente a distinção entre aclamação crítica e sucesso comercial — permanece incerto.

Duas hipóteses concorrentes emolduram esta investigação:

1. Lógica da Visibilidade: Os modelos podem refletir o volume do discurso online, favorecendo filmes comercialmente bem-sucedidos que dominam o texto na internet devido a comunidades de fãs e cobertura jornalística.
2. Lógica do Prestígio: Os modelos podem reproduzir formas de prestígio incorporadas no discurso crítico, favorecendo obras consagradas por elites culturais, mesmo que careçam de visibilidade pública de massa.

O estudo busca determinar se os LLMs exibem uma orientação avaliativa sistemática em direção a obras criticamente aclamadas sobre obras comercialmente bem-sucedidas, e se consegue distinguir se essa preferência decorre do volume de discurso (visibilidade) ou da valência avaliativa desse discurso (prestígio).

Metodologia

Construção do Conjunto de Dados

Os autores construíram um benchmark de 200 filmes estratificado em três conjuntos mutuamente exclusivos baseados em dois corpora: They Shoot Pictures, Don't They? (TSPDT) para aclamação crítica e Box Office Mojo (BOM) para sucesso comercial.

• Conjunto A (Dupla Legitimidade, n=40): Filmes que aparecem tanto no TSPDT quanto no BOM.
• Conjunto B (Apenas Crítico, n=80): Filmes no TSPDT, mas não no BOM (aclamados pela crítica, comercialmente obscuros).
• Conjunto C (Apenas Comercial, n=80): Filmes no BOM, mas não no TSPDT (comercialmente bem-sucedidos, criticamente não reconhecidos).

O conjunto de dados foi estratificado por idioma e era para garantir uma representação equilibrada, embora o Conjunto B contivesse uma proporção maior de cinema histórico anterior a 1980, enquanto o Conjunto C pendia para lançamentos pós-2000.

Modelos Avaliados

Oito modelos de quatro famílias foram testados, representando níveis de capacidade pequena e grande dentro de cada família:

• Anthropic: Claude Haiku 4.5, Claude Sonnet 4.6
• OpenAI: GPT-5.4 Nano, GPT-5.4
• Alibaba: Qwen2.5-Turbo, Qwen2.5-Plus
• Mistral: Mistral Small 3.2, Mistral Large 3

Procedimento de Elicitação

O estudo utilizou comparações de escolha forçada pareadas para elicitar preferências, um método projetado para contornar camadas de alinhamento que frequentemente suprimem julgamentos de valor explícitos.

• Protocolo: Cada modelo realizou 20.000 comparações pareadas (4.000 por iteração ao longo de 5 execuções).
• Prompt: "Qual destes dois filmes você prefere? A: {item a}; B: {item b}. Responda apenas com 'A' ou 'B'."
• Amostragem Adaptativa: Uma estratégia de amostragem de três fases foi empregada para garantir uma estimativa eficiente, priorizando cobertura ampla, amostragem competitiva para itens de força similar e foco em limites de classificação.
• Análise: O modelo de Bradley–Terry foi usado para estimar parâmetros de força latente ($\pi_i$) para cada filme, convertendo escolhas binárias em uma hierarquia de preferência estável.

Validação e Análise

• Validação (H1): O estudo verificou o determinismo ao nível do item (consistência na temperatura 0), estabilidade de ranking entre iterações e invariância de moldura de prompt.
• Teste de Hipóteses (H2–H4):
  • H2: Filmes apenas críticos (Conjunto B) vencerão >50% dos confrontos contra filmes apenas comerciais (Conjunto C).
  • H3: Filmes de dupla legitimidade (Conjunto A) derrotarão filmes apenas críticos (Conjunto B).
  • H4: A orientação para aclamação crítica intensifica-se com a escala do modelo.
• Análise de Regressão: Modelos de Mínimos Quadrados Ordinários (OLS) aninhados foram usados para decompor a força latente ($\lambda_z$) em preditores: pertencimento ao conjunto do corpus, era, visibilidade pública (log de votos no IMDb) e recepção popular (classificações de usuários do IMDb).

Principais Resultados

1. Validação das Preferências Elicitadas

As preferências elicitadas demonstraram alta confiabilidade. Todos os modelos excederam o limiar de consistência de 0,95 para determinismo ao nível do item, e as correlações de Spearman inter-execução para rankings excederam 0,80. Crucialmente, prompts avaliativos ("prefere", "gosta") produziram rankings estáveis ($\rho \approx 0,85$), enquanto a mudança para um enquadramento de recomendação ("recomendar para um público geral") produziu rankings divergentes ($\rho \approx 0,26–0,31$), indicando modos de resposta distintos.

2. Orientação para Aclamação Crítica (H2)

Todos os oito modelos exibiram uma consistente orientação para aclamação crítica. Os filmes do Conjunto B (apenas críticos) venceram significativamente mais de 50% dos confrontos diretos contra os filmes do Conjunto C (apenas comerciais).

• Modelos Grandes: As taxas de vitória variaram de 77,7% a 87,8% (tamanhos de efeito $d = 1,31–1,72$).
• Modelos Pequenos: As taxas de vitória variaram de 65,6% a 77,1% (tamanhos de efeito $d = 0,82–1,11$).
• Filmes Mais Bem Classificados: Incluíram A Viagem de Chihiro, O Poderoso Chefão e Retrato de uma Jovem em Chamas (Conjunto A/B), enquanto os filmes de classificação inferior incluíram Uma Aventura LEGO: O Filme e Carros 2 (Conjunto C).

3. Dupla Legitimidade (H3)

A hipótese de que filmes de dupla legitimidade (Conjunto A) derrotariam consistentemente filmes apenas críticos (Conjunto B) não foi sustentada. Os resultados foram mistos: alguns modelos grandes mostraram o Conjunto B vencendo, enquanto outros mostraram o Conjunto A vencendo. Isso sugere que, uma vez que a visibilidade pública é contabilizada, o status de "apenas crítico" não desfavorece inerentemente um filme em comparação a um filme de dupla legitimidade.

4. Dependência de Escala (H4)

A orientação para aclamação crítica intensifica-se com a escala do modelo dentro de cada família. Modelos maiores mostraram taxas de vitória mais altas para o Conjunto B vs. Conjunto C em comparação com seus equivalentes menores. No entanto, o mecanismo variou por família: para OpenAI e Mistral, o aumento foi impulsionado pelo melhor desempenho em filmes obscuros do Conjunto B (sugerindo melhor cobertura de conteúdo esotérico), enquanto para Anthropic e Alibaba, o desempenho de ambos, Conjunto A e B, melhorou, sugerindo uma mudança de capacidade mais ampla.

5. Análise de Regressão: Visibilidade vs. Valência

A regressão OLS aninhada revelou que a visibilidade pública e a recepção popular são distintas da orientação avaliativa:

• Inversão de Sinal para o Conjunto B: Em modelos não ajustados, os filmes do Conjunto B pareceram menos preferidos que os do Conjunto A. No entanto, após controlar pela visibilidade pública (votos no IMDb) e recepção popular (classificações), o coeficiente para o Conjunto B reverteu o sinal, tornando-se positivo. Isso indica que o aparente desfavorecimento de filmes apenas críticos deve-se amplamente à menor visibilidade e cobertura, não a um desinteresse inerente.
• Atenuação para o Conjunto C: A grande penalidade inicial para filmes apenas comerciais (Conjunto C) foi significativamente reduzida após controlar por era, visibilidade e classificações, sugerindo que os LLMs não desfavorecem categoricamente filmes comerciais; em vez disso, a penalidade é impulsionada por menores classificações críticas e visibilidade.
• Poder Preditivo: A recepção popular (classificações do IMDb) foi o preditor mais forte da força de preferência, seguida pela visibilidade pública.

Significância e Alegações

O artigo afirma fornecer a primeira medição sistemática da preferência cultural de LLMs através de múltiplos modelos, famílias e níveis de capacidade. Suas principais contribuições e alegações são:

1. Existência de Orientação para Aclamação Crítica: Os LLMs reproduzem consistentemente uma hierarquia que favorece obras criticamente consagradas sobre obras comercialmente bem-sucedidas, mesmo quando estas últimas possuem uma visibilidade pública vastamente superior. Esta orientação é robusta através de diferentes origens institucionais e arquiteturas de modelos.
2. Desacoplamento de Visibilidade e Valência: O estudo demonstra que a preferência por obras críticas não é meramente um reflexo do volume de dados de treinamento (visibilidade). Em vez disso, a valência avaliativa (a qualidade do julgamento) incorporada no discurso crítico é um fator distinto que molda os outputs do modelo.
3. Efeitos de Escala: A tendência de favorecer a aclamação crítica intensifica-se com a escala do modelo, embora o mecanismo subjacente (cobertura vs. capacidade) varie por família de modelo.
4. Divergência de Contexto: O estudo destaca uma divergência funcional entre outputs avaliativos (que refletem hierarquias críticas) e outputs de recomendação (que podem se alinhar mais ao ajuste para o público geral). Isso sugere que a orientação de aclamação crítica pode nem sempre se manifestar em cenários de recomendação do mundo real, mas permanece como uma característica estrutural latente da lógica avaliativa do modelo.
5. Implicações para Auditoria de IA: As descobertas sugerem que a preferência cultural é uma dimensão distinta de viés de modelo que opera independentemente do viés demográfico ou político. Como os domínios estéticos carecem de uma base objetiva, alinhar modelos nessas áreas envolve escolhas normativas sobre quais padrões avaliativos (críticos vs. populares) priorizar.

Os autores mantêm uma postura modesta, observando que o estudo identifica regularidades comportamentais em padrões de output, em vez de provar estados cognitivos internos ou "gosto". Eles reconhecem limitações relativas ao domínio cultural único (cinema), ao uso de prompts em inglês e à incapacidade de separar definitivamente os efeitos da cobertura de dados de treinamento dos regimes de alinhamento pós-treinamento.