🤖 machine learning

Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components

Este artículo sostiene que los flujos de trabajo de IA para la ciencia deben tratar las tuberías de medición a conjunto de datos como componentes de inferencia activa en lugar de fuentes de datos fijas para abordar espacios de hipótesis ocultos, transportabilidad no certificada y multiplicidad no gobernada, permitiendo así la adecuación cuantificable de la tubería y la evidencia científica reproducible.

Autores originales: Ling Zhan, Xiaoyao Yu, Tao Jia

Publicado 2026-05-26

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ling Zhan, Xiaoyao Yu, Tao Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: El Problema de la "Lente Congelada"

Imagina que intentas entender un objeto misterioso en una habitación oscura. No puedes ver el objeto directamente; solo puedes ver su sombra proyectada en la pared por una lámpara específica.

En la IA para la Ciencia, los investigadores a menudo actúan como si estuvieran estudiando el objeto en sí. Pero, en realidad, están estudiando la sombra.

El artículo argumenta que en muchos campos científicos (como la neuroimagen, la astronomía o el descubrimiento de fármacos), los datos que utilizan los científicos no son la "realidad cruda". Es una versión procesada, limpiada y reconstruida de la realidad. Este procesamiento ocurre a través de una larga cadena de pasos llamada tubería (filtrar ruido, rellenar piezas faltantes, convertir señales).

Actualmente, los científicos tratan el conjunto de datos final como si fuera un hecho fijo y objetivo. Dicen: "Aquí están los datos, ahora construyamos un modelo". Los autores llaman a esto la "Lente Congelada". Argumentan que esto es un error. La tubería que creó los datos es en realidad una parte enorme del razonamiento científico, y al "congelarla" (ignorándola), estamos ocultando el hecho de que nuestras conclusiones dependen enteramente de cómo elegimos proyectar esa sombra.

Las Tres Maneras en que Esto Sale Mal

Los autores identifican tres formas específicas en las que esta "Lente Congelada" hace que la ciencia falle. Piensa en esto como tres trampas:

1. El Menú Oculto (Espacio de Hipótesis Oculto)

La Analogía: Imagina un restaurante que te sirve una hamburguesa. Asumes que la hamburguesa es la "verdad" sobre lo que el chef preparó. Pero el chef tenía un menú de 50 formas diferentes de hacer esa hamburguesa (panes diferentes, tiempos de cocción diferentes, salsas diferentes). El restaurante solo te sirvió una versión específica y no te contó sobre las otras 49.
El Problema: Cuando los científicos publican un conjunto de datos, generalmente eligen una forma de procesar las mediciones crudas. No te dicen que si hubieran elegido un filtro ligeramente diferente o un método de limpieza distinto, la "hamburguesa" (los datos) podría haberse visto completamente diferente.
El Resultado: El modelo de IA aprende a predecir basándose en esa única versión específica de la hamburguesa. Cree haber descubierto una verdad universal, pero en realidad solo está memorizando las peculiaridades de esa receta específica. El "menú" de otras realidades posibles está oculto.

2. El Mapa Roto (Transportabilidad No Certificada)

La Analogía: Imagina que tienes un mapa de una ciudad dibujado perfectamente para un día soleado. Usas este mapa para navegar. Pero luego empieza a llover y las calles se inundan. El mapa no te muestra los charcos porque solo fue dibujado para días soleados. Intentas usar el mapa bajo la lluvia, te quedas atascado y culpas a tus habilidades de conducción.
El Problema: Una tubería puede funcionar muy bien en el laboratorio donde se recogieron los datos (el "día soleado"). Pero si intentas usar ese mismo método de procesamiento de datos en datos de un hospital diferente, un país diferente o una máquina diferente (el "día de lluvia"), la tubería podría romperse o distorsionar los datos de formas extrañas.
El Resultado: A menudo, los científicos no saben cuándo su método de procesamiento de datos deja de funcionar. Cuando un modelo de IA falla con nuevos datos, no sabemos si la IA es mala, o si el "mapa" (la tubería) simplemente era inválido para ese nuevo entorno.

3. La Multitud de Expertos (Multiplicidad No Gobernada)

La Analogía: Imagina un jurado de 100 expertos mirando la misma foto de la escena del crimen. Todos están de acuerdo con los hechos, pero todos usan lupas ligeramente diferentes. 90 de ellos concluyen que el sospechoso es culpable. 10 concluyen que el sospechoso es inocente. Los medios informan: "Los expertos dicen que el sospechoso es culpable", ignorando a los 10 que no estuvieron de acuerdo.
El Problema: En la ciencia, a menudo hay muchas formas "defendibles" de procesar datos. Puedes elegir filtrar el ruido de cinco formas diferentes válidas. Si eliges una, obtienes un resultado. Si eliges otra, obtienes un resultado diferente.
El Resultado: Los científicos a menudo eligen el único método que les da el resultado más "genial" o significativo e ignoran el hecho de que 99 otros métodos válidos habrían dado una respuesta diferente. Tratan su única elección como la verdad absoluta, en lugar de admitir: "Probamos 100 formas y la respuesta es un poco inestable".

La "Auditoría de EEG": Una Verificación de la Realidad

Para probar que esto no es solo teoría, los autores realizaron un experimento masivo con datos cerebrales (EEG) relacionados con la depresión.

El Escenario: Tomaron datos crudos de ondas cerebrales y los procesaron a través de 245.376 combinaciones diferentes de tuberías de procesamiento. (Imagina probar cada combinación posible de filtros, herramientas de limpieza y reglas de medición).
El Objetivo: Buscaban una señal específica: una diferencia en la actividad cerebral entre personas con depresión y personas sanas.
El Resultado Impactante:
- Muchas de las más de 245.000 tuberías encontraron una diferencia "significativa".
- PERO, cuando verificaron si esas diferencias se mantenían a través de diferentes grupos de personas (diferentes conjuntos de datos), SOLO UNA tubería de 245.376 sobrevivió.
- Eso es una tasa de supervivencia del 0,0004%.

Lo que esto significa: Casi cada vez que los científicos encontraron un "descubrimiento" en este campo, probablemente fue un accidente de la tubería específica que eligieron por casualidad. La "verdad" era tan frágil que cambiar ligeramente las reglas de procesamiento hacía que el descubrimiento desapareciera.

La Solución: El "Marco de Observación Computable"

Los autores no dicen que debamos dejar de hacer ciencia. Dicen que necesitamos cambiar la forma en que tratamos los datos.

Forma Actual:

Datos Crudos $\rightarrow$ [Tubería de Caja Negra] $\rightarrow$ "Datos Limpios" $\rightarrow$ Modelo de IA.
Fingimos que los "Datos Limpios" son la verdad.

Forma Propuesta:

Datos Crudos $\rightarrow$ La Tubería como Variable $\rightarrow$ Modelo de IA.
Tratamos la tubería como una hipótesis científica. Preguntamos: "¿Se mantiene esta conclusión si cambiamos la tubería?".

Proponen construir un sistema donde:

Las Tuberías son "Objetos Ejecutables": En lugar de solo un informe en PDF que dice "usamos el Método A", el código del Método A (y todas sus posibles variaciones) se guarda como un objeto digital que puede ejecutarse, probarse y modificarse.
La Estabilidad es el Objetivo: En lugar de buscar solo el modelo que mejor predice, buscamos el modelo que da la misma respuesta sin importar qué tubería válida usemos.
La Incertidumbre se Comparte: Si 100 tuberías dan 100 respuestas diferentes, reportamos esa incertidumbre. No la ocultamos.

Resumen

El artículo argumenta que en la IA para la Ciencia, la herramienta utilizada para medir la realidad es tan importante como la medición en sí misma. Al ignorar la herramienta (la tubería), los científicos a menudo están construyendo modelos de IA sobre cimientos inestables. Necesitan dejar de tratar los datos procesados como un hecho fijo y empezar a tratarlos como una parte variable del experimento científico.

Resumen Técnico: La IA para la Ciencia debe tratar los flujos de trabajo de medición a conjunto de datos como componentes de inferencia

Declaración del Problema
En los flujos de trabajo de "IA para la Ciencia" (IA4Ciencia), particularmente aquellos que dependen de la observación indirecta (por ejemplo, neuroimagen, biología estructural, radioastronomía), el objetivo científico se infiere a partir de mediciones crudas de sensores mediante flujos de trabajo de medición, reconstrucción y preprocesamiento de múltiples etapas. Actualmente, estos flujos de trabajo tratan al conjunto de datos publicado como una interfaz fija, efectivamente "congelando" el modelo de observación ( $P_\phi$ ) que mapea las mediciones crudas ( $x$ ) a una representación derivada ( $z$ ).

Los autores argumentan que tratar estos flujos de trabajo como definiciones de datos estáticas, en lugar de componentes de inferencia activos, crea una "lente congelada". Este enfoque oscurece la incertidumbre inherente a las elecciones del flujo de trabajo y conduce a tres modos de fallo específicos:

Espacio de Hipótesis Oculto (C1): El conjunto de datos publicado no especifica la configuración del flujo de trabajo ni sus condiciones de validez. En consecuencia, el espacio de hipótesis efectivo se restringe a explicaciones compatibles únicamente con la representación congelada, ocultando modelos de observación alternativos que podrían arrojar conclusiones mecanísticas diferentes.
Transportabilidad No Certificada (C2): Los flujos de trabajo documentados rara vez vienen acompañados de un régimen de validez probado. Cuando los protocolos de adquisición, los sensores o las condiciones de ruido cambian, el flujo de trabajo puede fallar al transportar la representación correctamente. Dado que el preprocesamiento suele ser con pérdida y de muchos a uno, los aprendices aguas abajo no pueden recuperar las distinciones eliminadas aguas arriba, lo que conduce a afirmaciones mecanísticas frágiles que no se generalizan a través de los regímenes.
Multiplicidad No Gobernada (C3): A menudo existen múltiples flujos de trabajo defendibles para una tarea dada. Las prácticas actuales rara vez propagan la dispersión entre estos flujos de trabajo hacia evidencias calificadas por incertidumbre. En su lugar, se selecciona un único flujo de trabajo "predeterminado" o de "mejor práctica", colapsando la variación válida en una estimación puntual e inflando la confianza en las afirmaciones mecanísticas.

Metodología
Para validar empíricamente estas afirmaciones, los autores realizaron una auditoría a gran escala en el dominio de la conectómica funcional de EEG, investigando específicamente la asimetría hemisférica como biomarcador del Trastorno Depresivo Mayor (TDM).

Diseño Experimental: La auditoría evaluó un vasto espacio de modelos de observación admisibles. Combinaron 864 flujos de trabajo de preprocesamiento distintos (que variaban en filtrado, referencia, eliminación de ruido, submuestreo y ventanas) con 284 operadores de Interacción Pareada Estadística (SPI) (reglas para convertir series temporales de canales en pesos de borde de conectividad funcional).
Escala: Esto resultó en 245.376 configuraciones únicas de flujo de trabajo-operador probadas en dos conjuntos de datos independientes (MODMA y CISIR).
Criterios de Evaluación:
- Significancia: Separación dentro del conjunto de datos entre los grupos de TDM y Control Saludable (CS) utilizando una prueba U de Mann–Whitney.
- Estabilidad: Acuerdo entre conjuntos de datos en la dirección del efecto y el ordenamiento relativo, evaluado mediante remuestreo bootstrap.
Propuesta de Marco: El artículo propone un cambio de listas de verificación procedimentales a Marcos de Observación Computables (COF). Este marco consta de tres capas:
1. Representación: Especificaciones versionadas y ejecutables de la familia de flujos de trabajo admisibles ( $\Phi$ ), incluidos grafos de operadores y dominios de parámetros.
2. Optimización: Procedimientos de búsqueda que optimizan la estabilidad y la transportabilidad a través de configuraciones, en lugar de solo el ajuste predictivo en un artefacto congelado.
3. Gobernanza: Plataformas para registros de auditoría reutilizables que acumulan evidencia sobre el espacio de modelos de observación, permitiendo la propagación de la incertidumbre.

Resultados Clave
La auditoría empírica arrojó una tasa de supervivencia marcada para la evidencia mecanística estable:

Si bien muchas configuraciones lograron significancia estadística dentro de un solo conjunto de datos, la gran mayoría no logró mantener conclusiones consistentes a través de los dos conjuntos de datos independientes.
Solo una configuración de las 245.376 satisfizo tanto los criterios de significancia dentro del conjunto de datos como los de estabilidad entre conjuntos de datos.
Esto corresponde a una tasa de supervivencia de aproximadamente 0,0004%.
Los resultados demuestran que la "lente congelada" crea un paisaje donde los hallazgos significativos son altamente sensibles a las elecciones del flujo de trabajo, y las heurísticas de selección estándar a menudo eligen flujos de trabajo que no se generalizan, validando así la existencia de C1, C2 y C3.

Significancia y Afirmaciones
El artículo afirma que el paradigma actual de tratar los conjuntos de datos como interfaces fijas es epistémicamente insuficiente para la IA4Ciencia, donde el objetivo es el descubrimiento mecanístico en lugar de la mera predicción.

Reencuadre de Flujos de Trabajo: Los autores afirman que los flujos de trabajo no son meros pasos de preprocesamiento, sino componentes de inferencia. Sus salidas deben tratarse como evidencia incierta en lugar de hechos objetivos.
Abordando la "Lente Congelada": Al convertir los flujos de trabajo en objetos computables, la comunidad puede cuantificar la adecuación y la estabilidad del flujo de trabajo. Esto convierte las elecciones de implementación implícitas en evidencia científica auditable, reproducible y acumulativa.
Rol del Aprendizaje Automático: El artículo postula que el papel del aprendizaje automático debe extenderse más allá de la optimización de modelos predictivos ( $\theta$ ) para gobernar el modelo de observación ( $\phi$ ). Esto implica representar espacios de diseño, definir objetivos alineados con la estabilidad y realizar búsquedas con presupuesto para seleccionar o agregar entre flujos de trabajo admisibles mientras se propaga la incertidumbre residual.
Llamada a la Acción: Los autores instan al desarrollo de Marcos de Observación Computables específicos de dominio para reemplazar las listas de verificación estáticas de "mejor práctica" con capas dinámicas y consultables del flujo de trabajo de inferencia. Este cambio se presenta como necesario para evitar la acumulación de afirmaciones científicas frágiles y no replicables a medida que la IA4Ciencia escala mediante modelos fundacionales y laboratorios automatizados.