⚡ engenharia elétrica

The Novelty Horizon H_N: Why Large Language Models Fail to Generate Scientific Data beyond Their Training Distribution

Este artigo demonstra que os Grandes Modelos de Linguagem falham fundamentalmente em gerar dados cientificamente válidos além de sua distribuição de treinamento devido à falta de fundamentação física e raciocínio causal, estabelecendo um "Horizonte de Novidade" que torna necessários sistemas neuro-simbólicos híbridos para a verdadeira descoberta científica.

Autor original: Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

Publicado 2026-11-04✓ Author reviewed ⓘ

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autor original: Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No laboratório moderno, um novo tipo de assistente chegou, um que pode ler milhões de artigos científicos e escrever relatórios fluentes em segundos. Esses sistemas de inteligência artificial, conhecidos como grandes modelos de linguagem, são treinados em vastas coleções de textos humanos. Eles são excepcionalmente bons em encontrar padrões em palavras e prever qual frase vem a seguir. Como conseguem imitar o estilo de um artigo de pesquisa tão bem, muitos cientistas começaram a se perguntar se essas máquinas podem fazer mais do que apenas resumir o conhecimento existente. Poderiam elas gerar novos dados válidos para experimentos que nunca viram? Poderiam agir como uma parceira na descoberta, criando os números e medições que formam a base da verdade científica? Esta questão toca no cerne de como a ciência funciona. A ciência real baseia-se na medição do mundo físico, onde cada medição carrega uma pequena dose de incerteza e onde causa e efeito seguem leis estritas e inquebráveis. Se uma máquina está simplesmente adivinhando a próxima palavra com base no que leu antes, ela pode parecer convincente, mas ela realmente entende a realidade que está descrevendo?

Uma equipe de pesquisadores do Quênia partiu para responder a esta pergunta com um teste rigoroso que foi além do texto e entrou no domínio dos dados físicos reais. Eles focaram em um experimento elétrico específico envolvendo um curto-circuito, uma situação em que um fio conecta as extremidades positiva e negativa de uma fonte de energia, causando um surto massivo de eletricidade. Em sua configuração, eles adicionaram um componente especial chamado diodo, que atua como uma válvula de sentido único para a eletricidade, limitando a voltagem a um nível específico para proteger o circuito. Isso cria um comportamento não linear complexo, onde a relação entre voltagem e corrente não é uma linha reta simples, mas uma curva que muda dependendo das condições. Os pesquisadores queriam ver se uma inteligência artificial poderia gerar um conjunto de dados realista para este experimento específico, completo com as pequenas flutuações aleatórias que os sensores reais sempre captam.

Para testar isso, os pesquisadores criaram três conjuntos diferentes de dados. O primeiro era a verdade fundamental (ground truth): medições reais tiradas de um circuito físico em um laboratório, registradas com alta precisão. O segundo conjunto veio de uma inteligência artificial que recebeu apenas os números básicos do experimento, como as classificações de voltagem e corrente, e foi solicitada a escrever um programa de computador para simular os resultados. O terceiro conjunto veio do mesmo tipo de inteligência artificial, mas desta vez os pesquisadores deram as instruções detalhadas de como o experimento foi construído e como as medições foram feitas, esperando que esse contexto extra ajudasse a máquina a produzir melhores resultados. Eles então submeteram todos os três conjuntos de dados a uma análise forense, comparando-os com as leis inquebráveis da física que regem a eletricidade.

Os resultados foram marcantes e reveladores. A inteligência artificial falhou em gerar dados cientificamente válidos em todas as instâncias. Quando a máquina tentou simular o experimento, produziu números que pareciam plausíveis na superfície, mas eram fisicamente impossíveis após uma inspeção mais detalhada. Um dos erros mais gritantes foi o que os pesquisadores chamaram de "artefato de álgebra perfeita". Em um experimento real, a voltagem e a corrente são medidas independentemente por sensores diferentes e, devido a pequenas imperfeições no equipamento, os números nunca se alinham perfeitamente quando se calcula a resistência. Sempre há uma pequena lacuna aleatória entre os valores. No entanto, a inteligência artificial tratou as leis da física como uma equação matemática a ser resolvida exatamente. Ela gerou valores de voltagem e corrente que se encaixavam com precisão perfeita de nível de máquina, não deixando espaço para o ruído natural da medição. Isso é como uma pessoa desenhando um mapa onde cada interseção de ruas está perfeitamente alinhada, enquanto um mapa real de uma cidade teria pequenos desalinhamentos naturais porque as estradas foram construídas por equipes diferentes em tempos diferentes.

A falha foi além de apenas números perfeitos. A inteligência artificial também teve dificuldade em entender o comportamento específico do diodo no circuito. Quando os pesquisadores deram à máquina as instruções detalhadas, ela conseguiu ajustar a escala de seus números para ser mais próxima da realidade, mas ainda assim errou a física fundamental. Ela gerou dados que sugeriam que a eletricidade estava se comportando de uma forma linear e previsível, perdendo completamente o efeito de "limitação" (clamping) não linear que o diodo deveria criar. Os dados que ela produziu tinham padrões estatísticos estranhos, com picos e formas que não ocorrem na natureza. Por exemplo, o ruído nos dados da máquina era ou muito plano ou tinha picos estranhos, ao contrário do ruído natural e contínuo encontrado em sensores eletrônicos reais. Mesmo quando os pesquisadores pediram à máquina para fornecer os números diretamente, sem escrever código primeiro, os resultados foram igualmente falhos, mostrando que o problema não era um erro de codificação, mas uma incapacidade fundamental de compreender a estrutura causal do mundo físico.

Os pesquisadores concluíram que esses modelos de inteligência artificial estão presos pelo que chamam de "Horizonte de Novidade". Este é um limite definido pelos dados sobre os quais o modelo foi treinado. Dentro deste limite, a máquina consegue desempenhar bem o seu papel porque está simplesmente rearranjando padrões que já viu. Mas, quando solicitada a gerar dados para uma nova situação complexa que exige a compreensão de causa e efeito de uma forma que ela nunca foi ensinada, ela atinge um muro. Ela não consegue extrapolar além de seu treinamento. Ela pode imitar as palavras de um cientista, mas não consegue simular a realidade caótica, incerta e causal de um experimento. O estudo mostra que, embora essas ferramentas sejam poderosas para resumir informações ou redigir textos, elas não podem ser confiadas para criar novos dados científicos ou para atuar como descobridoras independentes. O cientista humano permanece essencial, não apenas para verificar o trabalho, mas para fornecer o raciocínio causal e o design experimental que a máquina fundamentalmente carece. O futuro da ciência com inteligência artificial dependerá provavelmente de combinar essas ferramentas com a supervisão humana, usando a máquina para o que ela é boa, mantendo o humano no controle para o trabalho árduo da descoberta.

Resumo Técnico: O Horizonte da Novidade e os Limites dos LLMs na Geração de Dados Científicos

Definição do Problema
A integração de Grandes Modelos de Linguagem (LLMs) em fluxos de trabalho científicos levantou questões críticas sobre sua capacidade de descoberta empírica genuína. Embora os LLMs se destaquem na geração de texto linguisticamente plausível através do reconhecimento de padrões estatísticos, eles carecem de um modelo fundamentado da realidade física. Este artigo aborda a lacuna epistemológica específica entre a "plausibilidade linguística" e o "rigor científico". O problema central é se os LLMs autorregressivos, que operam pela predição do próximo token com base em distribuições de treinamento, podem gerar dados cientificamente válidos e empiricamente fiéis para tarefas que exigem extrapolação além de seus dados de treinamento. Os autores argumentam que a confluência entre indistinguibilidade estatística e validade empírica representa uma ameaça à integridade da pesquisa, uma vez que os modelos podem produzir "alucinações" fisicamente impossíveis que satisfazem padrões textuais, mas violam leis físicas causais.

Metodologia
Para testar a hipótese de que os LLMs autorregressivos não conseguem gerar dados válidos além de sua distribuição de treinamento, os autores empregaram um arcabouço analítico forense fundamentado na física. O estudo utilizou um design comparativo tripartido centrado em um experimento de curto-circuito com diodo de clamp, um sistema escolhido porque sua física não linear e características específicas de ruído situam-se fora do invólucro convexo típico dos corpora de treinamento padrão.

A metodologia envolveu a geração de três conjuntos de dados paralelos:

Caso 1 (Não Guiado): Um LLM (classe GPT-5.2) gerou um script de simulação e dados baseando-se apenas em parâmetros básicos de circuito (2,5V/0,25A, 5,0V/0,5A) sem contexto procedimental.
Caso 2 (Guiado): O mesmo LLM gerou um script e dados após ser provido do procedimento experimental completo, incluindo esquemas de circuito, especificações de componentes (diodos 1N5408, sensor ACS712T) e protocolos de média de dados.
Caso 3 (Verdade de Campo/Ground Truth): Dados experimentais de uma medição física do mesmo sistema, servindo como o benchmark imutável.

Um arcabouço de prompt direto paralelo também foi conduzido (detalhado nas informações suplementares), onde o LLM gerou dados numéricos diretamente, sem a etapa intermediária de geração de código, para determinar se as falhas eram artefatos do paradigma de codificação ou fundamentais à arquitetura do modelo.

Os conjuntos de dados foram submetidos a uma análise forense de múltiplas camadas:

Análise Temporal e Espectral: Exame das funções de autocorrelação (ACF) e densidades espectrais de potência (PSD) para detectar assinaturas de ruído de sensores realistas (ex: ruído $1/f^\alpha$ ) versus artefatos algorítmicos.
Validação de Restrições Físicas: Teste de adesão à Lei de Ohm e conservação de potência. Crucialmente, os autores analisaram os resíduos ôhmicos (a diferença entre a tensão medida e a resistência derivada da corrente) para verificar a independência do ruído de medição.
Ajuste de Modelo de Primeiros Princípios: Ajuste dos dados a uma Lei de Ohm Modificada derivada da física de semicondutores ( $v_s(t) = i(t)R_{sc} + nV_T \ln(i(t)/I_s)$ ) para avaliar a plausibilidade dos parâmetros e o ajuste do modelo (goodness-of-fit).
Análise de Regime: Separação dos dados em regimes lineares ( $|v_s| < 0,3V$ ) e não lineares ( $|v_s| \ge 0,3V$ ) para testar o desempenho no limite da distribuição de treinamento.
Pontuação de Fidelidade Generativa (GFS): Uma métrica composta que sintetiza restrições físicas, propriedades estatísticas e qualidade de ajuste do modelo.

Contribuições Principais

Construtos Teóricos: O artigo define formalmente a Fronteira de Informação Passada ( $B_P$ ) como a tríade ordenada $(t_p, \Omega_{train}, C_{train})$ , representando a fronteira temporal, o suporte da distribuição de treinamento e o conjunto de probabilidades condicionais aprendidas. Define ainda o Horizonte de Novidade ( $H_N$ ) como o limite além do qual um modelo não consegue realizar de forma confiável tarefas que exijam: (i) extrapolação fora do invólucro convexo de $\Omega_{train}$ , (ii) raciocínio causal não codificado em $C_{train}$ , ou (iii) informação posterior a $t_p$ .
Autenticação Baseada em Física: Os autores introduzem uma metodologia forense para detectar "artefatos algébricos perfeitos", onde os LLMs tratam leis físicas como tautologias determinísticas em vez de relações entre medições independentes ruidosas.
Validação Quantitativa: O desenvolvimento da Pontuação de Fidelidade Generativa (GFS) fornece uma métrica padronizada para quantificar o desvio dos dados sintéticos em relação à realidade física.

Resultos
O estudo demonstra uma falha fundamental tanto de LLMs não guiados quanto guiados em gerar dados cientificamente válidos para tarefas além do Horizonte de Novidade:

Inconsistências Físicas Catastróficas: Ambos os casos gerados por LLM exibiram fechamento algébrico perfeito, com resíduos ôhmicos da ordem de $10^{-17} \Omega$ (precisão de máquina), comparados ao ground truth experimental de $5,78 \times 10^{-3} \Omega$ . Isso indica que os modelos geraram variáveis dependentes deterministicamente, em vez de simular processos de medição independentes.
Patologias Estatísticas: A geração guiada (Caso 2) produziu dados com anomalias estatísticas extremas, incluindo valores de curtose de 65,4 para a configuração de 2,5V e 84,3 para a configuração de 5,0V (baseado em script), e acima de 200 (prompt direto), além de assinaturas espectrais incorretas que carecem do ruído $1/f$ característico de sensores físicos.
Erro de Posicionamento de Regime: Os modelos falharam em navegar corretamente o regime de clamp não linear. O Caso 1 gerou dados com tensões altas errôneas, enquanto o Caso 2 confinou incorretamente todos os dados ao regime linear ( $|v_s| < 0,3V$ ), falhando em simular a dinâmica de clamp do diodo apesar da orientação procedimental explícita.
Falha de Ajuste de Modelo: Os dados gerados pelos LLMs resultaram em parâmetros sem sentido quando ajustados à Lei de Ohm Modificada (ex: valores de $R^2$ negativos, parâmetros atingindo limites algorítmicos), enquanto os dados experimentais forneceram parâmetros de resistência e de diodo fisicamente plausíveis.
Confirmação via Prompt Direto: O arcabouço paralelo de prompt direto confirmou que essas falhas não são artefatos da geração de código, mas são intrínsecas à arquitetura autorregressiva, revelando patologias distributivas ainda mais severas quando as restrições estruturais de código foram removidas.

Significância e Alegações
O artigo afirma estabelecer um limite definitivo para a aplicação de LLMs na ciência empírica. Argumenta-se que o Horizonte de Novidade ( $H_N$ ) é um limite estrutural inerente aos modelos autorregressivos treinados em corpora estáticos. Os autores afirmam que:

Os LLMs são capazes de interpolação dentro do invóloco convexo de seus dados de treinamento, mas falham catastroficamente quando exigidos a extrapolar para novas configurações experimentais ou estruturas causais não codificadas em seu treinamento.
O fornecimento de contexto procedimental (engenharia de prompt) pode melhorar a escala numérica, mas não pode conferir o raciocínio causal ou a compreensão da independência de medição necessária para a geração de dados científicos válidos.
O "artefato de álgebra perfeita" serve como um diagnóstico confiável para detectar quando um LLM operou além de seu Horizonte de Novidade.
O papel dos LLMs na ciência deve ser redefinido como Inteligência Aumentada: ferramentas para síntese de literatura, conclusão de código e geração de hipóteses, mas não como agentes autônomos para design experimental ou geração de dados.
O progresso futuro requer sistemas neuro-simbólicos híbridos que integrem o reconhecimento de padrões estatísticos com modelos de mundo causais formais e simuladores físicos para cruzar o Horizonte de Novidade.

O artigo conclui que o papel indispensável dos cientistas humanos no raciocínio causal e no design experimental permanece inabalável, pois os atuais LLMs estão limitados por sua Fronteira de Informação Passada e não podem navegar sozinhas na fronteira da verdadeira descoberta científica.

Mais como este