Learning What's Real: Disentangling Signal and Measurement Artifacts in Multi-Sensor Data, with Applications to Astrophysics

Este artículo presenta un marco de aprendizaje profundo que utiliza observaciones superpuestas y generación contrafactual para separar las señales físicas intrínsecas de los artefactos de medición en datos multi-sensor, demostrando su eficacia en imágenes astronómicas para permitir inferencias libres de distorsiones instrumentales.

Lo esencial

🌌 El Secreto de las Galaxias: Separando la "Verdad" de los "Gafas Sucias"

Imagina que estás intentando ver una galaxia lejana a través de una ventana. Pero hay un problema: la ventana está sucia, tiene rayones y, además, el vidrio tiene un tinte de color.

• La galaxia real es la "señal" (la física interesante).
• La suciedad, los rayones y el tinte son los "artefactos del instrumento" (el ruido, la distorsión y las características específicas del telescopio).

En la astronomía, los científicos a menudo tienen que lidiar con esto. Tienen datos de diferentes telescopios (como el Legacy Survey y el HSC). El mismo objeto se ve muy diferente en cada uno porque cada telescopio tiene sus propias "gafas sucias" únicas. Esto hace que sea difícil comparar datos o encontrar patrones reales en el universo.

Este paper presenta una Inteligencia Artificial (IA) nueva y brillante que aprende a limpiar esas "gafas" automáticamente, separando lo que es la galaxia real de lo que es el telescopio.

---

🧠 ¿Cómo funciona esta IA? (La Analogía del Chef y el Fotógrafo)

Imagina que tienes a un Chef (el modelo de IA) y dos fotógrafos:

1. Fotógrafo A usa una cámara vieja y borrosa.
2. Fotógrafo B usa una cámara nueva y súper nítida.

Ambos toman fotos del mismo plato de comida (la galaxia), pero las fotos se ven muy distintas debido a sus cámaras.

1. El Truco de los "Trios" (Entrenamiento)

Para enseñarle al Chef, no le mostramos una sola foto. Le mostramos tríos de imágenes:

• La Foto Ancla: La foto que queremos reconstruir (digamos, la de la cámara nueva).
• La Foto de la Física: Una foto del mismo plato pero tomada por la otra cámara (la vieja). Esto le dice al Chef: "Oye, el plato es el mismo, aunque la cámara cambie".
• La Foto del Instrumento: Una foto de un plato diferente tomada por la misma cámara (la nueva). Esto le dice al Chef: "Mira, esta cámara tiene este tipo de brillo y ruido, incluso si el plato cambia".

2. Los Dos Cerebros (Arquitectura Dual)

La IA tiene dos "cerebros" o encoders especializados:

• El Cerebro Físico: Se enfoca en aprender qué hace que el plato sea un plato (su forma, sus ingredientes), ignorando si la foto es borrosa o nítida. Aprende la esencia.
• El Cerebro Instrumental: Se enfoca en aprender cómo "mancha" la cámara la foto (el ruido, el desenfoque), ignorando qué plato es. Aprende la distorsión.

3. El Magia de la "Generación Contrafactual"

Aquí viene la parte más divertida. Una vez entrenada, la IA puede hacer viajes en el tiempo (o mejor dicho, viajes entre telescopios).

• Le das una foto borrosa de una galaxia tomada por el telescopio viejo.
• Le pides: "¿Cómo se vería esta galaxia si la hubiera tomado el telescopio nuevo?".
• La IA usa su "Cerebro Físico" para entender la galaxia y su "Cerebro Instrumental" para simular cómo el telescopio nuevo la pintaría. ¡Boom! Te genera una foto nueva, nítida y realista, como si realmente hubieras usado el telescopio caro.

Esto se llama generación contrafactual: imaginar "qué pasaría si" las condiciones fueran diferentes.

---

🚀 ¿Por qué es esto importante? (Los Beneficios Reales)

Esta tecnología no es solo un truco visual; tiene aplicaciones poderosas:

1. Caza de Tesoros (Búsqueda de Objetos Raros):
   A veces, los astrónomos buscan cosas raras (como lentes gravitacionales) en millones de fotos. Si la foto es borrosa, podrían perderlas. Esta IA puede "mejorar" las fotos de los telescopios grandes y baratos, prediciendo cómo se verían en los telescopios caros. Así, los científicos pueden saber antes de gastar dinero en observaciones reales, qué galaxias vale la pena estudiar más de cerca.

2. Unificar el Universo:
   Ahora podemos mezclar datos de telescopios muy diferentes sin que se mezclen sus "ruidos". Es como si pudieras hablar con alguien que tiene un acento muy fuerte y entender perfectamente lo que dice, ignorando su acento.

3. Mediciones Limpias:
   Si quieres medir la forma o el tamaño de una galaxia, el telescopio puede engañarte (hacerla parecer más redonda o más grande). Esta IA separa la forma real de la galaxia de la distorsión del telescopio, dando mediciones mucho más precisas.

🎨 En Resumen

Imagina que el universo es una obra de arte increíble, pero cada telescopio es un marco diferente que distorsiona un poco la pintura.

• Los métodos antiguos intentaban limpiar el marco con reglas matemáticas fijas (y a veces fallaban).
• Este nuevo método es como un artista que aprende a ver la pintura a través del marco, entendiendo cómo funciona cada marco, para poder recrear la obra de arte tal como es realmente, o incluso imaginarla en un marco totalmente nuevo.

El resultado es una herramienta que nos ayuda a ver el universo con más claridad, separando la verdad física de los errores de medición, y permitiéndonos "simular" observaciones que aún no hemos hecho. ¡Es como tener una máquina del tiempo para la astronomía! 🔭✨

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "LEARNING WHAT'S REAL: DISENTANGLING SIGNAL AND MEASUREMENT ARTIFACTS IN MULTI-SENSOR DATA, WITH APPLICATIONS TO ASTROPHYSICS", publicado en el 2nd Workshop on Foundation Models for Science at ICLR 2026.

1. Planteamiento del Problema

Los datos observacionales del mundo físico son inherentemente una combinación de dos fuentes:

1. La señal subyacente: El proceso físico real de interés (ej. la luz emitida por una galaxia).
2. Artefactos de medición: Distorsiones introducidas por el sensor o instrumento (sistemáticas instrumentales, ruido, respuesta no lineal, efectos atmosféricos).

Estos artefactos actúan como factores de confusión que limitan la capacidad de extraer información física pura y complican la combinación de observaciones de instrumentos heterogéneos. Los enfoques actuales de modelos fundamentales (foundation models) en ciencias a menudo tratan los datos de diferentes instrumentos como modalidades independientes o ignoran las sistemáticas, lo que lleva a que los espacios latentes estén dominados por características instrumentales en lugar de físicas. El objetivo es aprender representaciones que separen explícitamente la física intrínseca de las distorsiones específicas del instrumento sin requerir un modelo físico explícito del instrumento (caja negra).

2. Metodología

Los autores proponen un marco de aprendizaje profundo basado en generación contrafactual y aprendizaje auto-supervisado utilizando observaciones superpuestas.

Arquitectura y Objetivo

• Arquitectura de Doble Codificador (Dual-Encoder):

  • Codificador de Física: Recibe una observación de una fuente física dada pero capturada por un instrumento diferente. Su objetivo es aprender características invariantes a los instrumentos.
  • Codificador de Instrumento: Recibe una observación de una fuente diferente capturada por el mismo instrumento. Su objetivo es aislar las distorsiones y características específicas del instrumento.

• Decodificador Generativo: Utiliza Flow Matching (emparejamiento de flujos) para reconstruir una imagen objetivo ("ancla") que nunca fue vista por los codificadores.

• Objetivo Contrafactual: El modelo se entrena con triplets de datos:

  1. Ancla: La imagen objetivo (ej. Galaxia X vista por Instrumento A).
  2. Augmentación de Física: La misma Galaxia X vista por Instrumento B (entran al codificador de física).
  3. Augmentación de Instrumento: Una Galaxia Y diferente vista por Instrumento A (entran al codificador de instrumento).

  El modelo debe generar la imagen "Ancla" condicionada a los latentes de física (extraídos de la visión del Instrumento B) y los latentes de instrumento (extraídos de la visión de la Galaxia Y en el Instrumento A). Esto fuerza al modelo a aprender a "traducir" entre instrumentos y a separar la señal física del ruido instrumental.

Datos y Preprocesamiento

• Dataset: Se utilizaron ~100,000 imágenes de galaxias cruzadas entre dos sondeos: DESI Legacy Imaging Survey (Legacy) y Hyper Suprime-Cam (HSC).
• Características: Legacy cubre un área grande (20,000 deg²) con menor resolución y profundidad; HSC tiene mayor resolución y profundidad pero cubre menos área (1,200 deg²).
• Preprocesamiento: Se alinearon los filtros superpuestos (g, r, i, z), se normalizaron los ceros de punto y se recortaron las imágenes a 48x48 píxeles, ajustando la escala de píxeles mediante interpolación para asegurar consistencia espacial.

3. Contribuciones Clave

1. Desenredo Estructural: Un marco que separa físicamente los factores de variación (física vs. instrumento) mediante una arquitectura específica y un objetivo de generación, en lugar de depender de funciones de pérdida diseñadas a mano (como en los enfoques contrastivos).
2. Generación Contrafactual: Capacidad de sintetizar cómo se vería un objeto bajo las condiciones de un instrumento diferente (ej. simular una imagen de HSC a partir de datos de Legacy), actuando como un simulador de sondeo aprendido.
3. Modelo de Instrumento Basado en Datos: El codificador de instrumento aprende implícitamente un modelo de ruido y sistemáticas de los datos, sin necesidad de especificaciones ópticas manuales.
4. Búsqueda de Similitud Independiente del Instrumento: Permite buscar galaxias físicamente similares en bases de datos masivas ignorando las diferencias de resolución o ruido entre instrumentos.

4. Resultados

• Reconstrucción y Generación: El modelo logra reconstruir imágenes objetivo con un Error Cuadrático Medio (MSE) de 0.081 (anclado en HSC) y 0.197 (anclado en Legacy). Las muestras posteriores capturan correctamente la incertidumbre y el ruido.
• Calibración de Incertidumbre: La distribución de los puntajes Z de los píxeles generados sigue una distribución normal estándar, indicando que el modelo es confiable en sus estimaciones de incertidumbre.
• Preservación de Morfología: Se entrenó un clasificador de elipticidad en imágenes reales de HSC. Al aplicarlo a imágenes "contrafactuales" generadas a partir de datos Legacy, el rendimiento fue casi idéntico al de imágenes reales ($R^2 = 0.81$ vs $0.82$). Esto demuestra que se puede aplicar un pipeline de análisis de alta calidad (HSC) a datos de menor calidad (Legacy) tras la transformación.
• Visualización del Espacio Latente:
  • Espacio de Instrumento: Muestra clusters separados y no superpuestos para HSC y Legacy, confirmando que el modelo captura las características del sondeo.
  • Espacio de Física: Muestra una distribución superpuesta donde pares de la misma galaxia (vista por diferentes instrumentos) se mapean a coordenadas cercanas, demostrando la invarianza del instrumento.
• Tareas de Descenso (Downstream Tasks):
  • El espacio latente de física recupera propiedades físicas (redshift, masa estelar) con un rendimiento comparable a modelos fundamentales monolíticos (como AION-1), pero es robusto a las sistemáticas.
  • El espacio latente de instrumento supera a los baselines en la predicción de propiedades instrumentales (profundidad, PSF), demostrando un desenredo efectivo.

5. Significado e Impacto

Este trabajo ofrece una "receta" general para el pre-entrenamiento auto-supervisado en ciencia:

1. Construir pares de entrenamiento a partir de observaciones superpuestas del mismo sistema físico.
2. Tratar los efectos específicos del sensor o modalidad como aumentaciones.
3. Aprender representaciones invariantes mediante la generación contrafactual.

Aplicaciones en Astrofísica:

• Selección de Objetivos: Permite priorizar observaciones de seguimiento costosas (ej. con el Telescopio Espacial James Webb) generando vistas contrafactuales de alta resolución a partir de sondeos amplios y baratos, identificando objetos raros (como lentes gravitacionales) que podrían estar ocultos por el ruido en los datos originales.
• Homogeneización de Datos: Permite realizar análisis morfológicos de alta calidad en todo el cielo cubierto por sondeos de baja resolución, extendiendo la capacidad de HSC a los 20,000 deg² de Legacy.
• Generalización: El marco es aplicable a otros dominios científicos con múltiples sensores, como curvas de luz de exoplanetas (TESS/Kepler) o imágenes satelitales.

En resumen, el artículo presenta un avance significativo en la capacidad de los modelos de IA para "ver" a través de las distorsiones instrumentales, permitiendo una inferencia física más robusta y una síntesis de datos más realista en entornos científicos multi-instrumento.