🤖 machine learning

Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components

Este artigo argumenta que os fluxos de trabalho de IA para a Ciência devem tratar os pipelines de medição a conjunto de dados como componentes de inferência ativa, em vez de fontes de dados fixas, para abordar espaços de hipóteses ocultos, transportabilidade não certificada e multiplicidade não governada, permitindo assim a adequação quantificável do pipeline e evidência científica reproduzível.

Autores originais: Ling Zhan, Xiaoyao Yu, Tao Jia

Publicado 2026-05-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ling Zhan, Xiaoyao Yu, Tao Jia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: O Problema da "Lente Congelada"

Imagine que você está tentando entender um objeto misterioso em um quarto escuro. Você não consegue ver o objeto diretamente; só consegue ver sua sombra projetada na parede por uma lâmpada específica.

Na IA para a Ciência, os pesquisadores frequentemente agem como se estivessem estudando o próprio objeto. Mas, na realidade, eles estão estudando a sombra.

O artigo argumenta que, em muitos campos científicos (como imageamento cerebral, astronomia ou descoberta de medicamentos), os dados que os cientistas utilizam não são a "realidade bruta". Trata-se de uma versão processada, limpa e reconstruída da realidade. Esse processamento ocorre por meio de uma longa cadeia de etapas chamada pipeline (filtragem de ruído, preenchimento de peças faltantes, conversão de sinais).

Atualmente, os cientistas tratam o conjunto de dados final como se fosse um fato fixo e objetivo. Eles dizem: "Aqui estão os dados, agora vamos construir um modelo". Os autores chamam isso de "Lente Congelada". Eles argumentam que isso é um erro. O pipeline que criou os dados é, na verdade, uma parte enorme do raciocínio científico e, ao "congelá-lo" (ignorá-lo), estamos escondendo o fato de que nossas conclusões dependem inteiramente de como escolhemos projetar aquela sombra.

As Três Maneiras pelas quais Isso Dá Errado

Os autores identificam três maneiras específicas pelas quais essa "Lente Congelada" faz a ciência falhar. Pense nelas como três armadilhas:

1. O Menu Oculto (Espaço de Hipóteses Oculto)

A Analogia: Imagine um restaurante que serve um hambúrguer a você. Você assume que o hambúrguer é a "verdade" sobre o que o chef preparou. Mas o chef tinha um cardápio com 50 maneiras diferentes de fazer aquele hambúrguer (pães diferentes, tempos de cozimento diferentes, molhos diferentes). O restaurante serviu apenas uma versão específica e não lhe contou sobre as outras 49.
O Problema: Quando os cientistas lançam um conjunto de dados, eles geralmente escolhem uma única maneira de processar as medições brutas. Eles não informam que, se tivessem escolhido um filtro ligeiramente diferente ou um método de limpeza distinto, o "hambúrguer" (os dados) poderia ter parecido completamente diferente.
O Resultado: O modelo de IA aprende a prever com base naquela versão específica do hambúrguer. Ele acha que descobriu uma verdade universal, mas na verdade apenas memorizou as peculiaridades daquela receita específica. O "cardápio" de outras realidades possíveis fica oculto.

2. O Mapa Quebrado (Transportabilidade Não Certificada)

A Analogia: Imagine que você tem um mapa de uma cidade desenhado perfeitamente para um dia ensolarado. Você usa esse mapa para navegar. Mas então começa a chover e as ruas alagam. O mapa não mostra os poços porque foi desenhado apenas para dias de sol. Você tenta usar o mapa na chuva, fica preso e culpa suas habilidades de direção.
O Problema: Um pipeline pode funcionar muito bem no laboratório onde os dados foram coletados (o "dia de sol"). Mas, se você tentar usar o mesmo método de processamento de dados em dados de um hospital diferente, de um país diferente ou de uma máquina diferente (o "dia de chuva"), o pipeline pode quebrar ou distorcer os dados de maneiras estranhas.
O Resultado: Os cientistas frequentemente não sabem quando seu método de processamento de dados deixa de funcionar. Quando um modelo de IA falha em novos dados, não sabemos se a IA é ruim ou se o "mapa" (o pipeline) era simplesmente inválido para aquele novo ambiente.

3. A Multidão de Especialistas (Multiplicidade Não Governada)

A Analogia: Imagine um júri de 100 especialistas olhando para a mesma foto de uma cena de crime. Todos concordam com os fatos, mas todos usam lentes de aumento ligeiramente diferentes. 90 deles concluem que o suspeito é culpado. 10 concluem que o suspeito é inocente. A notícia reporta: "Os especialistas dizem que o suspeito é culpado", ignorando os 10 que discordaram.
O Problema: Na ciência, frequentemente existem muitas maneiras "defensáveis" de processar dados. Você pode escolher filtrar o ruído de cinco maneiras diferentes e válidas. Se você escolher uma, obtém um resultado. Se escolher outra, obtém um resultado diferente.
O Resultado: Os cientistas frequentemente escolhem o método que lhes dá o resultado "mais legal" ou mais significativo e ignoram o fato de que 99 outros métodos válidos teriam dado uma resposta diferente. Eles tratam sua escolha única como a verdade absoluta, em vez de admitir: "Tentamos 100 maneiras e a resposta é um pouco instável".

A "Auditoria de EEG": Um Teste de Realidade

Para provar que isso não é apenas teoria, os autores realizaram um experimento massivo em dados cerebrais (EEG) relacionados à depressão.

O Cenário: Eles pegaram dados brutos de ondas cerebrais e os passaram por 245.376 combinações diferentes de pipelines de processamento. (Imagine tentar todas as combinações possíveis de filtros, ferramentas de limpeza e regras de medição).
O Objetivo: Eles estavam procurando por um sinal específico: uma diferença na atividade cerebral entre pessoas com depressão e pessoas saudáveis.
O Resultado Chocante:
- Muitos dos mais de 245.000 pipelines encontraram uma diferença "significativa".
- MAS, quando verificaram se essas diferenças se mantinham entre diferentes grupos de pessoas (diferentes conjuntos de dados), APENAS UM pipeline, de 245.376, sobreviveu.
- Isso representa uma taxa de sobrevivência de 0,0004%.

O que isso significa: Quase toda vez que os cientistas faziam uma "descoberta" nesse campo, era provavelmente um acidente de qual pipeline específico eles acabaram escolhendo. A "verdade" era tão frágil que mudar as regras de processamento ligeiramente fazia a descoberta desaparecer.

A Solução: O "Framework de Observação Computável"

Os autores não estão dizendo que devemos parar de fazer ciência. Eles estão dizendo que precisamos mudar a forma como tratamos os dados.

Maneira Atual:

Dados Brutos $\rightarrow$ [Pipeline de Caixa Preta] $\rightarrow$ "Dados Limpos" $\rightarrow$ Modelo de IA.
Fingimos que os "Dados Limpos" são a verdade.

Maneira Proposta:

Dados Brutos $\rightarrow$ O Pipeline como Variável $\rightarrow$ Modelo de IA.
Tratamos o pipeline como uma hipótese científica. Perguntamos: "Essa conclusão se sustenta se mudarmos o pipeline?"

Eles propõem construir um sistema onde:

Pipelines são "Objetos Executáveis": Em vez de apenas um relatório em PDF dizendo "usamos o Método A", o código do Método A (e todas as suas variações possíveis) é salvo como um objeto digital que pode ser executado, testado e alterado.
Estabilidade é o Objetivo: Em vez de apenas procurar o modelo que prevê melhor, procuramos o modelo que dá a mesma resposta não importa qual pipeline válido utilizemos.
Incerteza é Compartilhada: Se 100 pipelines dão 100 respostas diferentes, relatamos essa incerteza. Não a escondemos.

Resumo

O artigo argumenta que, na IA para a Ciência, a ferramenta usada para medir a realidade é tão importante quanto a própria medição. Ao ignorar a ferramenta (o pipeline), os cientistas frequentemente constroem modelos de IA em terreno instável. Eles precisam parar de tratar dados processados como um fato fixo e começar a tratá-los como uma parte variável do experimento científico.

Resumo Técnico: IA para Ciência Deve Tratar Pipelines de Medição a Conjunto de Dados como Componentes de Inferência

Declaração do Problema
Nos fluxos de trabalho de "IA para Ciência" (IA4Ciência), particularmente aqueles que dependem de observação indireta (por exemplo, neuroimagem, biologia estrutural, radioastronomia), o alvo científico é inferido a partir de medições brutas de sensores por meio de pipelines multiestágio de medição, reconstrução e pré-processamento. Atualmente, esses fluxos de trabalho tratam o conjunto de dados liberado como uma interface fixa, efetivamente "congelando" o modelo de observação ( $P_\phi$ ) que mapeia medições brutas ( $x$ ) para uma representação derivada ( $z$ ).

Os autores argumentam que tratar esses pipelines como definições de dados estáticas, em vez de componentes ativos de inferência, cria uma "lente congelada". Essa abordagem obscurece a incerteza inerente às escolhas do pipeline e leva a três modos de falha específicos:

Espaço de Hipóteses Oculto (C1): O conjunto de dados liberado não especifica a configuração do pipeline ou suas condições de validade. Consequentemente, o espaço de hipóteses efetivo é restrito a explicações compatíveis apenas com a representação congelada, ocultando modelos de observação alternativos que poderiam produzir conclusões mecânicas diferentes.
Transportabilidade Não Certificada (C2): Pipelines documentados raramente vêm com um regime de validade testado. Quando protocolos de aquisição, sensores ou condições de ruído mudam, o pipeline pode falhar em transportar a representação corretamente. Como o pré-processamento é frequentemente perdedor e muitos-para-um, aprendizes a jusante não podem recuperar distinções removidas a montante, levando a afirmações mecânicas frágeis que não se generalizam entre regimes.
Multiplicidade Não Governada (C3): Múltiplos pipelines defensáveis frequentemente existem para uma dada tarefa. As práticas atuais raramente propagam a dispersão entre esses pipelines para evidências qualificadas por incerteza. Em vez disso, um único pipeline "padrão" ou de "melhor prática" é selecionado, colapsando variações válidas em uma estimativa pontual e inflando a confiança em afirmações mecânicas.

Metodologia
Para validar empiricamente essas alegações, os autores conduziram uma auditoria em larga escala no domínio da conectômica funcional de EEG, investigando especificamente a assimetria hemisférica como biomarcador para Transtorno Depressivo Maior (TDM).

Desenho Experimental: A auditoria avaliou um vasto espaço de modelos de observação admissíveis. Eles combinaram 864 pipelines de pré-processamento distintos (variando em filtragem, referência, remoção de ruído, subamostragem e janelamento) com 284 operadores de Interação Par Estatística (SPI) (regras para converter séries temporais de canais em pesos de areia de conectividade funcional).
Escala: Isso resultou em 245.376 configurações únicas de pipeline-operador testadas em dois conjuntos de dados independentes (MODMA e CISIR).
Critérios de Avaliação:
- Significância: Separação dentro do conjunto de dados entre os grupos TDM e Controle Saudável (CS) usando um teste U de Mann–Whitney.
- Estabilidade: Concordância entre conjuntos de dados na direção do efeito e ordenação relativa, avaliada via reamostragem bootstrap.
Proposta de Framework: O artigo propõe uma mudança de listas de verificação procedimentais para Frameworks de Observação Computáveis (FOCs). Este framework consiste em três camadas:
1. Representação: Especificações versionadas e executáveis da família de pipelines admissíveis ( $\Phi$ ), incluindo grafos de operadores e domínios de parâmetros.
2. Otimização: Procedimentos de busca que otimizam para estabilidade e transportabilidade entre configurações, em vez de apenas ajuste preditivo em um artefato congelado.
3. Governança: Plataformas para registros de auditoria reutilizáveis que acumulam evidências sobre o espaço de modelos de observação, permitindo a propagação da incerteza.

Principais Resultados
A auditoria empírica produziu uma taxa de sobrevivência nítida para evidências mecânicas estáveis:

Embora muitas configurações tenham alcançado significância estatística dentro de um único conjunto de dados, a vasta maioria falhou em manter conclusões consistentes entre os dois conjuntos de dados independentes.
Apenas uma configuração entre 245.376 satisfez tanto os critérios de significância dentro do conjunto de dados quanto de estabilidade entre conjuntos de dados.
Isso corresponde a uma taxa de sobrevivência de aproximadamente 0,0004%.
Os resultados demonstram que a "lente congelada" cria um cenário onde descobertas significativas são altamente sensíveis às escolhas do pipeline, e heurísticas padrão de seleção frequentemente escolhem pipelines que não se generalizam, validando assim a existência de C1, C2 e C3.

Significância e Alegações
O artigo alega que o paradigma atual de tratar conjuntos de dados como interfaces fixas é epistemicamente insuficiente para IA4Ciência, onde o objetivo é a descoberta mecânica, e não meramente preditiva.

Reenquadramento de Pipelines: Os autores afirmam que pipelines não são meramente etapas de pré-processamento, mas são componentes de inferência. Suas saídas devem ser tratadas como evidências incertas, e não como fatos objetivos.
Endereçando a "Lente Congelada": Ao tornar pipelines objetos computáveis, a comunidade pode quantificar a adequação e a estabilidade do pipeline. Isso converte escolhas de implementação implícitas em evidência científica auditável, reproduzível e cumulativa.
Papel do ML: O artigo postula que o papel do aprendizado de máquina deve se estender além da otimização de modelos preditivos ( $\theta$ ) para governar o modelo de observação ( $\phi$ ). Isso envolve representar espaços de design, definir objetivos alinhados à estabilidade e realizar busca orçada para selecionar ou agregar entre pipelines admissíveis, propagando a incerteza residual.
Chamada à Ação: Os autores convocam o desenvolvimento de Frameworks de Observação Computáveis específicos de domínio para substituir listas de verificação estáticas de "melhor prática" por camadas dinâmicas e consultáveis do fluxo de trabalho de inferência. Essa mudança é apresentada como necessária para prevenir o acúmulo de afirmações científicas frágeis e não replicáveis à medida que a IA4Ciência escala por meio de modelos fundamentais e laboratórios automatizados.