Language Models Should be Used to Surface the Unwritten Code of Science and Society

Resumo Técnico: Modelos de Linguagem Devem Ser Utilizados para Revelar o Código Não Escrito da Ciência e da Sociedade

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) inevitavelmente absorvem e refletem os vieses humanos incorporados em seus dados de treinamento. Enquanto a pesquisa existente foca em identificar e mitigar esses vieses, este artigo argumenta por uma mudança de paradigma: aproveitar os vieses dos LLMs como ferramentas diagnósticas para descobrir e articular o "código não escrito" da sociedade. Esses códigos não escritos consistem em normas tácitas, estereótipos implícitos e convenções sutis (por exemplo, preferências de narrativa na revisão por pares) que influenciam invisivelmente a dinâmica social, mas resistem à formalização porque raramente são explicitamente declarados pelos atores humanos. O desafio central é que os métodos atuais frequentemente apenas revelam vieses superficiais (priors) ou falham em recuperar estruturas heurísticas mais profundas que se ativam durante os processos de raciocínio.

Metodologia
Os autores propõem um framework conceitual para extrair e articular explicitamente esses códigos não escritos através de um processo iterativo de geração de hipóteses, demonstrado via um estudo de caso sobre a revisão por pares de 26.731 artigos em 46 conferências acadêmicas.

1. Preparação de Dados: O estudo utiliza metadados, pontuações de revisão por pares e comentários de revisão do OpenReview e do Paper Copilot. O conteúdo do artigo é representado via resumos estendidos (gerados pelo GPT-4o) contendo contexto de base, ideias principais, metodologia e impacto, em vez de textos completos, para garantir que os mecanismos de atenção foquem em informações relevantes e mitiguem alucinações.
2. Construção Pareada: Um conjunto de dados de pares de artigos é construído onde um artigo recebeu uma pontuação de revisão significativamente maior do que o outro (excedendo um desvio padrão).
3. Framework de Geração de Hipóteses:
   • Extração de Priors: O LLM é instruído a gerar hipóteses explicando por que um artigo é superior a outro sem entrada de dados específicos. Isso representa os "priors normativos" do modelo (ex: rigor teórico).
   • Busca Iterativa (Atualização de Posterior): O modelo é apresentado com dados pareados reais. Ele gera hipóteses para explicar as diferenças de pontuação observadas. Para casos onde as hipóteses iniciais falham em explicar os dados ("casos não explicados"), o modelo gera novas e distintas hipóteses de forma iterativa. Isso continua até que os casos não explicados caiam abaixo de 5%.
   • Refinamento de Autoconsistência: As hipóteses geradas são aplicadas de volta a todo o conjunto de dados. O modelo avalia o grau em que cada hipótese explica a diferença de pontuação, produzindo um rótulo binário e uma pontuação de confiança. Um esquema de votação ponderado pela confiança agrega esses julgamentos para garantir a confiabilidade.
4. Validação Humana: Comentários de revisão humana são anotados (usando GPT-4o e especialistas humanos) para determinar se aspectos específicos (hipóteses) são mencionados explicitamente. Isso permite uma comparação entre o que os humanos dizem (menções explícitas) e o que eles fazem (alocação de pontuações).

Principais Resultados
O estudo revela uma divergência distinta entre os "priors" (o que modelos e humanos afirmam valorizar) e os "posteriors" (o que realmente impulsiona as decisões quando os dados estão presentes).

• Lógicas Divergentes: Os LLMs inicialmente geram hipóteses alinhadas com valores científicos normativos (ex: rigor teórico). No entanto, conforme a busca iterativa progride para explicar casos difíceis, o modelo muda para hipóteses centradas em narrativa (storytelling), contextualização e conexões externas. Essas hipóteses posteriores exibem maior poder explicativo e confiança do modelo.
• O Código Não Escrito: Há uma atualização sistemática de priors para posteriors. Hipóteses relacionadas ao "rigor interno" diminuem em frequência do prior para o posterior, enquanto "narrativa" e "relevância interdisciplinar" aumentam significativamente.
• Lacuna de Alinhamento Humano-LLM:
  • Comentários de revisão humana alinham-se com os priors do LLM (correlação = 0,49), discutindo explicitamente o rigor teórico.
  • Comentários humanos não se alinham com os posteriors do LLM (correlação = –0,14). Apesar de recompensarem implicitamente a narrativa e a contextualização com pontuações mais altas, os revisores humanos raramente articulam esses fatores em seus feedbacks escritos.
  • O "código não escrito" (narrativa) explica uma parte significativa da variância nas pontuações (preenchendo a lacuna deixada pelos critérios explícitos), mas permanece não relatado no feedback humano.
• Robustez: Esses padrões sustentam-se através de diferentes arquiteturas de LLM (abertos e fechados), dados fora da amostra e representações alternativas de artigos.

Principais Contribuições

1. Framework Conceitual: O artigo introduz um método para "autorreforçar" e amplificar vieses dentro de LLMs para forçar a articulação de heurísticas ocultas. Ao levar os modelos a gerar hipóteses autoconsistentes para decisões não explicadas, o framework revela regras tácitas que os humanos são incapazes ou relutantes em declarar.
2. Evidência Empírica de Normas Tácitas: Fornece evidência quantitativa de que a revisão por pares científica depende fortemente de critérios não escritos (narrativa, posicionamento) que contradizem as normas explícitas (rigor) citadas nas revisões.
3. Proposta de Ferramenta Diagnóstica: Os autores propõem o uso de LLMs não como juízes automatizados, mas como ferramentas diagnósticas para revelar o hiato entre a articulação explícita e a recompensa implícita, permitindo a discussão pública dos valores revelados.

Significância e Alegações
O artigo alega que o valor primário deste trabalho não é a automação do julgamento, mas sim tornar o invisível visível. Ao alavancar a "mudança cognitiva" do prior para o posterior nos LLMs, pesquisadores podem identificar o "currículo oculto" dos sistemas de avaliação social.

Os autores argumentam que a transparência em relação a esses códigos não escritos é essencial para a equidade. Atualmente, essas regras ocultas beneficiam aqueles que já estão familiarizados com elas (ex: pesquisadores de instituições de elite). Tornar esses códigos explícitos não serve apenas para fornecer um "guia de estudo", mas permite que grupos marginalizados compreendam barreções ocultas e capacita as instituições a refletirem e revisarem esses padrões. O artigo conclui que a implementação deve focar no design de sistemas que registrem e contrastem heurísticas implícitas contra critérios explícitos, promovendo uma abordagem mais precisa e responsável para a IA em avaliações de alto risco.