Machines acquire scientific taste from institutional traces

Este artigo demonstra que o "gosto científico" — a capacidade de julgar quais ideias merecem investigação — pode ser automatizado ao ajustar finamente modelos de linguagem com registros institucionais de publicações, superando tanto modelos de IA de ponta quanto painéis de especialistas humanos na avaliação de propostas de pesquisa.

O essencial

Imagine que a ciência é como um grande festival de talentos. Todos os dias, milhares de artistas (os cientistas) chegam com suas ideias novas, tentando convencer os organizadores (editores de revistas e financiadores) a dar-lhes um palco.

O problema é que, às vezes, a ideia mais brilhante é a que parece mais estranha no início, e a ideia mais "segura" pode ser apenas chata. Decidir quem merece o palco exige um gosto científico: uma intuição difícil de explicar, que diz "isso é genial" ou "isso é apenas mais do mesmo".

Até hoje, as Inteligências Artificiais (IAs) eram ótimas em tarefas de "resposta certa", como resolver equações de matemática ou prever a estrutura de proteínas. Mas elas eram péssimas em julgar ideias. Quando pediamos para uma IA avaliar uma proposta de pesquisa, ela tendia a ser muito simpática, dizendo que tudo era bom, ou ficava confusa, errando na maioria das vezes. Era como pedir para um robô que só sabe ler regras de gramática julgar se uma pintura é uma obra-prima.

A Grande Descoberta: O "Gosto" está nos Arquivos, não na Cabeça

Os autores deste estudo (da Universidade Tsinghua) descobriram algo fascinante: o "gosto" não é um segredo místico guardado na mente dos editores. Ele está escondido nos registros históricos das revistas científicas.

Pense assim:

• Imagine que você tem um arquivo gigante de 10 anos de decisões de um juiz de cinema. Você não sabe por que o juiz escolheu o filme A e rejeitou o filme B, mas você sabe que, ao longo de 10 anos, ele sempre escolheu filmes que depois ganharam prêmios.
• Se você treinar uma IA apenas mostrando a ela: "Neste dia, o filme X foi aceito; naquele dia, o filme Y foi rejeitado", a IA começa a aprender o padrão invisível do que é bom, sem precisar que ninguém explique as regras.

O Experimento: Treinando a IA com "Histórico de Carreira"

Os pesquisadores fizeram o seguinte:

1. O Banco de Dados: Pegaram milhares de decisões reais de revistas de gestão e economia (quem foi aceito, quem foi rejeitado).
2. O Treino: Em vez de ensinar a IA com regras escritas ("se a ideia for nova, aceite"), eles "alimentaram" a IA com esses registros históricos. A IA aprendeu a imitar o consenso coletivo do sistema acadêmico ao longo do tempo.
3. O Teste: Deram para a IA 120 novas ideias de pesquisa (sem dizer a resposta certa) e pediram para ela classificar: "Essa ideia é genial, boa, medíocre ou ruim?".

Os Resultados: A IA Aprendeu a "Sentir"

O resultado foi surpreendente:

• As IAs mais famosas (as "Frontier Models"): Mesmo as IAs mais poderosas do mundo, quando tentaram adivinhar usando apenas lógica e regras, acertaram apenas 31% das vezes. Era quase como chutar no escuro. Elas não conseguiam "sentir" a qualidade.
• Os Humanos (Editores e Especialistas): Os humanos foram um pouco melhores, acertando cerca de 42%. Mas, curiosamente, os humanos discordavam muito uns dos outros. Um editor achava a ideia genial, o outro achava ruim. O "gosto" humano é barulhento e cheio de ruído.
• A IA Treinada nos Registros: A IA que aprendeu com o histórico das revistas acertou 59% a 60% das vezes. Ela superou tanto as IAs mais inteligentes quanto os painéis de especialistas humanos.

Por que isso é importante? (A Analogia do "Chefe de Cozinha")

Imagine que você é o chefe de um restaurante famoso. Você tem 1.000 pedidos de novos pratos por dia, mas só tem tempo para provar 10.

• O jeito antigo: Você pede para seus cozinheiros (humanos) provarem e opinarem. Eles discordam, ficam cansados e às vezes deixam passar um prato incrível.
• O jeito das IAs comuns: Você pede para um robô ler a receita. O robô diz: "Tudo parece legal, vamos cozinhar tudo!" (e o restaurante quebra).
• O jeito novo (deste estudo): Você ensina o robô a olhar para os pratos que já foram servidos e que os clientes amaram nos últimos 10 anos. O robô aprende o "paladar" do restaurante. Agora, ele consegue filtrar os 1.000 pedidos e dizer: "Chef, esses 10 aqui são os que têm mais chance de serem um sucesso. Os outros podem esperar".

O Segredo Final: A IA sabe quando está certa

Outra coisa incrível: a IA treinada com esse método sabe quando ela está confiante.

• Quando a IA diz "Tenho 100% de certeza que essa ideia é genial", ela acerta 100% das vezes.
• Isso permite criar um sistema de triagem: a IA filtra o que é óbvio e manda apenas as "zonas cinzentas" (as difíceis) para os humanos revisarem. Isso economiza tempo e dinheiro.

Conclusão Simples

A ciência não precisa de uma IA que "pense" como um humano para julgar ideias. Ela precisa de uma IA que "leia" o que a humanidade já decidiu que é bom no passado.

O "gosto" científico não era algo que faltava nas máquinas; era um tesouro que estava enterrado nos arquivos das revistas, esperando para ser desenterrado. Ao aprender com o histórico institucional, a máquina finalmente adquiriu o "olho clínico" que os humanos levam décadas para desenvolver.

Em resumo: A IA não precisa de regras para julgar qualidade. Ela só precisa ver o que o mundo já aprovou no passado para aprender a fazer o mesmo no futuro.

Resumo técnico

Resumo Técnico: Máquinas Adquirem Gosto Científico a Partir de Vestígios Institucionais

1. O Problema: A Lacuna da Avaliação Científica

O artigo identifica um gargalo crítico na ciência contemporânea: a transição da produção de conhecimento para a sua avaliação. Embora a Inteligência Artificial (IA) supere humanos em tarefas com respostas verificáveis (como dobramento de proteínas ou matemática de olimpíadas), ela falha em tarefas que exigem "gosto científico" (scientific taste).

• Gosto Científico: É a capacidade tácita de julgar quais ideias não testadas merecem ser perseguidas. É um conhecimento coletivo e institucional, não codificável em regras explícitas.
• Falha Atual: Modelos de linguagem de ponta (frontier models) e painéis de especialistas humanos demonstram desempenho próximo ao acaso na avaliação de ideias de pesquisa.
  • Modelos de IA tendem a ser excessivamente complacentes (sycophancy), inflando pontuações e falhando em distinguir trabalhos incrementais de trabalhos inovadores.
  • Especialistas humanos apresentam baixa concordância categórica (acordo quase nulo), embora o sistema institucional como um todo produza uma estratificação de qualidade consistente ao longo do tempo.
• Hipótese Central: O "gosto" não está ausente da IA; ele está depositado nos vestígios institucionais (registros históricos de decisões de publicação) e precisa ser extraído através de aprendizado supervisionado, não apenas por raciocínio explícito.

2. Metodologia

Os autores construíram um benchmark rigoroso e realizaram experimentos controlados em duas áreas das ciências sociais: Organização/Psicologia e Gestão e Economia.

• Construção do Benchmark:

  • Dados: 120 "pitches" de pesquisa (resumos de ideias) derivados de artigos publicados em 2025, extraídos de 19 revistas de alto prestígio.
  • Estratificação: Os pitches foram balanceados em quatro níveis de qualidade baseados no local de publicação: Excepcional, Forte, Justo (Fair) e Limitado.
  • Entrada Padronizada: Os pitches continham apenas a questão de pesquisa e o enquadramento teórico, removendo métodos detalhados, resultados empíricos e identidade do autor/jornal para forçar a avaliação baseada na "ideia" pura.
  • Avaliação Humana: 48 editores/gatekeepers seniores e 174 pesquisadores júnior (doutorandos/pós-docs) avaliaram os pitches.

• Configuração dos Modelos de IA:

  • Modelos de Ponta (Frontier): 11 modelos de raciocínio avançado (ex: Gemini 3.1 Pro, GPT-5.2, Claude Opus 4.6) testados com prompts otimizados por especialistas.
  • Ajuste Fino Supervisionado (SFT): Quatro modelos base (GPT-4.1, GPT-4.1-nano, Qwen3-4B, Qwen3-30B) foram fine-tuned usando 4.479 pares de (pitch de pesquisa + resultado de publicação) de registros históricos. O objetivo foi alinhar os modelos à distribuição de decisões institucionais acumuladas.
  • Controles: Testes de Reinforcement Learning (RL), comparações com modelos base (sem treino) e testes de ablação.

• Métricas de Avaliação:

  • Precisão na classificação de 4 classes (acima do acaso de 25%).
  • Macro-F1 (para evitar viés em classes minoritárias).
  • Calibração de confiança (se o modelo sabe quando está certo).
  • Tarefas de discriminação em pares (pairwise) não vistas durante o treino.

3. Principais Contribuições e Descobertas

A. Falha dos Modelos de Ponta e Humanos

• IA de Ponta: Os 11 modelos de ponta alcançaram apenas 31,1% de precisão (apenas 8,1% do "espaço de melhoria" entre o acaso e a perfeição). Eles sofreram de "colapso de previsão", concentrando-se excessivamente nas categorias intermediárias (Forte e Justo) e ignorando as extremas (Excepcional e Limitado).
• Humanos: O painel de especialistas atingiu 41,6% de precisão por maioria de votos. Embora superior aos modelos de ponta, a concordância individual foi próxima do acaso (Kappa de Fleiss = 0,047), indicando que o "gosto" é distribuído pelo sistema, não por indivíduos.

B. O Sucesso do Ajuste Fino (SFT) em Vestígios Institucionais

• Desempenho: Os modelos ajustados (SFT) superaram significativamente tanto os modelos de ponta quanto os painéis humanos.
  • O melhor modelo único (Qwen3-30B SFT) atingiu 59,2% de precisão.
  • Um ensemble simples de dois modelos atingiu 60,8%.
  • Isso representa 6 vezes mais "espaço de melhoria" capturado em comparação com a média dos modelos de ponta e mais que o dobro do painel de especialistas.
• Custo: O custo total de treinamento para todos os modelos foi inferior a US$ 300, demonstrando viabilidade econômica.
• Generalização: O mecanismo replicou-se na Economia (outro campo com cultura de publicação distinta), onde o modelo SFT atingiu 69,5% de precisão. Um modelo treinado apenas em Gestão também superou o acaso em Economia, sugerindo uma estrutura de "gosto" compartilhada entre ciências sociais.

C. Mecanismos de Aprendizado

• Autoconhecimento Calibrado: Diferente dos modelos de ponta (que são superconfiantes e errados), os modelos SFT exibiram calibração. Em suas previsões de maior confiança (top 10%), a precisão atingiu 100%.
• Transferência de Formato: Os modelos SFT conseguiram transferir seu julgamento para tarefas não vistas no treino, como:
  • Discriminação em Pares: Escolher qual de dois pitches era melhor sem ver as categorias de rótulo.
  • Compressão de Entrada: Manter desempenho superior mesmo quando a entrada era reduzida a uma única frase (resumo de uma sentença), provando que aprenderam o sinal avaliativo e não apenas padrões superficiais de texto longo.
• SFT vs. RL: O Ajuste Fino Supervisionado (aprendizado direto de exemplos) superou o Aprendizado por Reforço (RL) otimizado para raciocínio. Isso sugere que o "gosto" é um padrão distribuído que não se beneficia (e pode ser prejudicado) pela explicitação de cadeias de raciocínio (Chain-of-Thought).

D. Consenso e Agregação

• Enquanto modelos de ponta falham em criar consenso (erros correlacionados), os modelos SFT independentes convergem para um sinal avaliativo compartilhado. Quando 4 modelos SFT concordam, a precisão sobe para 72,5%.

4. Significado e Implicações

• Reinterpretação do "Gosto": O estudo demonstra que o "gosto científico" não é um mistério humano inatingível, mas sim um padrão estatístico embutido nas decisões históricas das instituições acadêmicas. A IA pode aprender esse padrão através de dados de resultado (outcome data), superando a "Paradoxo de Polanyi" (saber mais do que podemos dizer).
• Solução para o Gargalo de Avaliação: Com o volume de submissões científicas superando a capacidade humana, este método oferece um mecanismo escalável e barato para triagem de pesquisas.
• Fluxo de Trabalho Híbrido: A abordagem sugere um fluxo onde o modelo SFT atua como um filtro inicial de alta precisão (especialmente para casos de alta confiança), permitindo que os revisores humanos se concentrem apenas nos casos ambíguos onde o modelo tem baixa confiança.
• Aplicabilidade Geral: O mecanismo é aplicável a qualquer domínio onde a avaliação é socialmente julgada e difícil de verificar formalmente, como investimentos de risco, alocação de subsídios, e indústrias criativas.

Conclusão

O artigo prova que a barreira para a avaliação de qualidade científica por IA não é a capacidade de raciocínio bruto, mas a ausência do sinal de treinamento correto. Ao alinhar modelos de linguagem com os vestígios institucionais (registros de quem foi publicado onde), a IA consegue recuperar o "gosto" científico coletivo, superando tanto a inteligência artificial mais avançada quanto a expertise humana agregada, a um custo marginal. Isso marca uma mudança de paradigma: em vez de tentar ensinar regras de avaliação, devemos treinar modelos nos resultados históricos das instituições que definem a qualidade.