Resumo Técnico: A Irregularidade dos LLM Desbloqueia a Criatividade Científica

Declaração do Problema

À medida que a inteligência artificial avança, as capacidades dos modelos não melhoram de forma uniforme em tarefas, domínios ou escalas. Em vez disso, o progresso segue uma "fronteira irregular", onde a competência é desigual e descontínua. Embora a literatura anterior tenha identificado irregularidades em tarefas, escalas de modelos, profundidades de raciocínio e complexidades de problemas, uma caracterização sistemática desse fenômeno especificamente no contexto da geração de ideias científicas permanece pouco explorada. Os autores postulam que a criatividade científica, por ser aberta e generativa, oferece uma lente ideal para revelar essas disparidades de capacidade. Além disso, enquanto esforços anteriores para melhorar a diversidade dos LLMs frequentemente dependem de intervenções de treinamento computacionalmente intensivas ou fluxos de trabalho estruturados com múltiplos LLMs que limitam a geração aberta, há uma necessidade de entender como aproveitar, em vez de apenas suavizar, essas arestas irregulares para aprimorar a descoberta científica impulsionada por IA.

Metodologia

Para investigar isso, os autores introduzem o SciAidanBench, um conjunto de dados de referência composto por 155 perguntas científicas abertas curadas por pesquisadores do Laboratório Nacional de Brookhaven. As perguntas abrangem seis domínios científicos: Física (subdividida em Fundamental, Astrofísica, Síncrotron e Matéria Condensada), Química, Biologia, Neurociência, Nanociência e Ciência Ambiental. As perguntas são formuladas para incentivar a geração de conceitos (por exemplo, "Proponha um método para...") em vez de recuperação factual.

O estudo avalia 30 variantes de 19 modelos base de 8 provedores (incluindo OpenAI, Anthropic, Google e modelos locais como LLaMA 3.3 e Mistral). O protocolo de avaliação segue a metodologia AidanBench:

1. Geração Iterativa: Para cada pergunta, um modelo é instruído a gerar uma ideia inicial ($r_1$) e depois re-instruído iterativamente para gerar ideias subsequentes ($r_2, r_3, \dots$) mantendo o contexto das saídas anteriores.
2. Avaliação com Dupla Restrição: Cada nova ideia deve ser tanto coerente (logicamente consistente e respondendo ao prompt) quanto nova (distinta de todas as respostas anteriores).
3. Métricas de Pontuação:
   • Novidade baseada em Embedding: Distância cosseno entre a nova resposta e as respostas anteriores usando um modelo de embedding pré-treinado.
   • Novidade baseada em LLM: Um LLM juiz (o1-mini) avalia pontuações de similaridade contra as respostas anteriores.
   • Coerência: Um LLM juiz classifica a consistência lógica em uma escala de 0–100.
   • A geração para quando uma resposta cai abaixo dos limiares de novidade (<0,15) ou coerência (<15). A contagem total de respostas válidas serve como proxy para o potencial criativo.

Principais Contribuições

1. SciAidanBench: O primeiro benchmark especificamente projetado para medir a criatividade científica de LLMs por meio de geração sustentada de ideias abertas em diversos subcampos científicos.
2. Caracterização da Irregularidade: Uma demonstração sistemática de que a irregularidade se manifesta em três níveis distintos:
   • Entre Tarefas: Melhorias gerais de criatividade não se traduzem uniformemente em criatividade científica.
   • Nível de Prompt: Modelos mais fortes exibem alta variabilidade, mostrando "rajadas" de criatividade em perguntas específicas enquanto lutam com outras.
   • Nível de Domínio: Modelos individuais exibem perfis internos fragmentados, com forças desiguais em subcampos científicos.
3. Ensembles de Meta-Modelos: A proposta e avaliação de estratégias de ensemble que tratam a irregularidade como um recurso. Os autores introduzem mecanismos para combinar modelos:
   • Cálculo no Tempo de Inferência: Aproveitando tokens de raciocínio para expandir o espaço de soluções.
   • Agregação de Conhecimento: Roteando perguntas para modelos com forças específicas em domínios.
   • Tempestade de Ideias: Permitindo o refinamento de ideias entre modelos, onde os modelos constroem sobre as saídas uns dos outros.
   • Top-5-Parallel: Uma configuração que integra os três mecanismos.

Resultados

• Divergência Entre Tarefas: Embora a criatividade geral e a científica estejam positivamente correlacionadas ($r=0,76$), a relação não é uniforme. Modelos que se classificam alto em criatividade geral não necessariamente se classificam alto em criatividade científica. Por exemplo, modelos da OpenAI mostraram forte criatividade geral, mas estagnaram em tarefas científicas, enquanto modelos da Anthropic superaram em criatividade científica em relação ao seu desempenho geral.
• Variabilidade no Nível de Prompt: Modelos mais fortes (por exemplo, o3-high, Gemini-2.5-Pro) exibem distribuições mais amplas de contagem de respostas, indicando que suas pontuações médias mais altas são impulsionadas por "rajadas" de alta criatividade em prompts específicos, em vez de melhoria uniforme. Modelos mais fracos mostram distribuições consistentemente baixas e estreitas.
• Fragmentação de Domínio: Modelos de alto desempenho mostram picos distintos de desempenho em subcampos. Por exemplo, o Gemini-2.5-Pro se destacou em Física de Matéria Condensada, mas foi mais fraco em Nanociência, enquanto o Claude-3.7-Sonnet-Thinking-16k foi o mais forte em Neurociência, mas mais fraco em Física Fundamental.
• Superioridade dos Ensembles:
  • Cálculo no Tempo de Inferência: Modelos de raciocínio (por exemplo, Claude-3.7-Sonnet-Thinking) superaram significativamente as variantes sem raciocínio, com o desempenho acompanhando o consumo real de tokens em vez do orçamento alocado.
  • Agregação de Conhecimento: Um ensemble "Roteador", que direcionava perguntas para o modelo de melhor desempenho para cada domínio específico, superou o modelo individual mais forte em todos os domínios.
  • Tempestade de Ideias: Um ensemble "Top-5" (amostragem dos cinco melhores modelos individuais) superou todos os modelos individuais. No entanto, um ensemble "Top-5 Fornecedores" (diversificando por provedor, mas não necessariamente por capacidade) falhou em superar o modelo individual mais forte, sugerindo que o nível de capacidade é mais crítico do que a diversidade de fornecedores sozinha.
  • Top-5-Parallel: O ensemble que combina cálculo no tempo de inferência, agregação de conhecimento e tempestade de ideias alcançou as pontuações mais altas tanto nos benchmarks de criatividade geral quanto científica, superando qualquer modelo único ou ensemble de mecanismo único.

Significado e Alegações

O artigo argumenta que a irregularidade não é meramente uma limitação, mas um recurso estrutural do progresso da IA. Em vez de ver perfis de capacidade desiguais como defeitos a serem suavizados por meio de escalonamento ou alinhamento, os autores demonstram que essas irregularidades podem ser aproveitadas. Ao orquestrar modelos heterogêneos por meio de ensembles de meta-modelos, é possível transformar fragmentação em sinergia, amplificando a geração de ideias científicas além dos limites de qualquer modelo único.

Os autores concluem que os ganhos futuros na geração de ideias científicas abertas podem surgir cada vez mais de sistemas que reconhecem, medem e orquestram explicitamente a inteligência irregular. Eles sugerem que pesquisas futuras devem explorar perturbações deliberadas de prompts (por exemplo, semeadura entre domínios) para acessar modos criativos subutilizados e investigar estruturas de equipe ótimas (hierárquicas vs. horizontais) para ensembles colaborativos. O trabalho posiciona o SciAidanBench tanto como um benchmark para ideação científica quanto como um quadro para revelar e aproveitar a heterogeneidade estrutural nas capacidades dos modelos.