From Simulations to Surveys: Domain Adaptation for Galaxy Observations

Este artículo presenta un proceso de adaptación de dominio que mejora significativamente la precisión de la clasificación de morfologías de galaxias reales de SDSS mediante el entrenamiento con imágenes simuladas de TNG50 y el empleo de una combinación de pérdidas de transporte óptimo a nivel de características, incluyendo un novedoso mecanismo de emparejamiento suave top-$k$, para cerrar eficazmente la brecha entre simulación y realidad.

Lo esencial

El Problema: El "Videojuego" vs. El "Mundo Real"
En este artículo, los "estudiantes" son programas de computadora (modelos de IA) y los "autos" son galaxias.

• La Fuente (El Videojuego): Los investigadores primero entrenaron a su IA utilizando imágenes de una simulación por computadora superavanzada llamada TNG50. Piensa en esto como un videojuego perfecto de alta definición. En el juego, la IA sabe exactamente qué es cada auto (un sedán, un camión o un auto deportivo) porque el creador del juego lo programó de esa manera.
• El Objetivo (El Mundo Real): Los investigadores luego quisieron que la IA mirara fotos reales de galaxias tomadas por el telescopio SDSS. Esto es como sacar a la IA del videojuego y ponerla en una calle concurrida y lluviosa. Las fotos reales se ven diferentes: son más granulosas, la iluminación es extraña y los "autos" (galaxias) se ven un poco distintos a los del juego.

Si simplemente tomas una IA entrenada en el videojuego y la dejas adivinar en la calle real, se confunde. Podría pensar que un camión real es un auto deportivo porque la iluminación es diferente. Esto se llama un "desplazamiento de dominio" (domain shift).

La Solución: El Pipeline del "Traductor"
El artículo describe un nuevo método para actuar como un traductor entre el mundo del videojuego y el mundo real. Construyeron un pipeline para ayudar a la IA a aprender que "una galaxia espiral en el juego" es lo mismo que "una galaxia espiral en la foto real", aunque se vean diferentes.

Aquí es cómo lo hicieron, usando analogías simples:

1. Los Tres Maestros (Backbones):
   Intentaron tres tipos diferentes de "maestros" de IA (redes neuronales) para realizar el aprendizaje:

• Un maestro pequeño y simple (CNN).
• Un maestro que es muy bueno reconociendo formas sin importar cómo estén rotadas (CNN E(2)-dirigible).
• Un maestro famoso, pre-entrenado (ResNet-18), al cual ajustaron (fine-tuned) para este trabajo específico.

2. El Entrenamiento en "Modo Difícil" (Focal Loss):
   En sus datos, hay muchas más galaxias "Espirales" que "Elípticas" o "Irregulares". Es como un salón de clases donde el 90% de los estudiantes visten camisetas rojas y solo unos pocos visten azules. Si la IA simplemente adivina "Rojo" todo el tiempo, obtiene una puntuación alta pero no aprende nada sobre las camisetas azules.
   Para solucionar esto, utilizaron una regla de puntuación especial llamada Focal Loss. Es como un maestro que dice: "No me importa si aciertas las preguntas fáciles de las camisetas rojas; te daré puntos extra (o castigos extra por los errores) si aciertas las preguntas de las raras camisetas azules". Esto obliga a la IA a prestar atención a los tipos de galaxias poco comunes.

3. El Truco de la "Mezcla" (Adaptación de Dominio):
   Este es el núcleo de su invención. Añadieron una regla especial al proceso de entrenamiento que obliga a la IA a mezclar las imágenes del "juego" y las imágenes "reales" en su memoria interna.

• El Objetivo: Queremos que el mapa interno de la IA parezca un batido donde los ingredientes del "juego" y los ingredientes "reales" están mezclados tan bien que no puedes distinguir cuál es cuál.
• La Herramienta: Utilizaron una herramienta matemática llamada Transporte Óptimo (específicamente "Sinkhorn" y "Top-k"). Imagina que tienes dos pilas de piezas de rompecabezas (una del juego y otra de la realidad). La IA intenta emparejarlas.
• El Ingrediente Secreto del "Top-k": Usualmente, la IA intenta emparejar cada pieza. Pero a veces, empareja una pieza del juego con una pieza real incorrecta solo para que las matemáticas funcionen. Los investigadores añadieron una regla "Top-k": "Ignora las coincidencias fáciles; enfócate solo en los 10 pares más difíciles que no encajan bien, y fuerza a que coincidan". Esto es como decirle a la IA: "Deja de fingir con lo fácil; corrige los desajustes específicos que realmente te están confundiendo".

Los Resultados: De Confundido a Confiado
El artículo reporta los resultados de este experimento:

• Antes del arreglo: Cuando la IA intentaba adivinar los tipos de galaxias en fotos reales sin este entrenamiento especial, su precisión era de solo un 46%. Básicamente estaba adivinando.
• Después del arreglo: Con su nuevo método de mezcla "Top-k", la precisión saltó al 87%.
• La Prueba: Revisaron el "cerebro" interno de la IA (espacio latente). Antes del arreglo, la IA mantenía las imágenes del juego y las imágenes reales en habitaciones separadas (sabía que eran diferentes). Después del arreglo, las habitaciones se fusionaron en un gran salón donde las imágenes se mezclaron perfectamente. Esto demostró que la IA realmente había aprendido a ver las similitudes, no solo las diferencias.

¿Qué Sigue?
Los autores dicen que esto es solo una "prueba de concepto". Planean:

• Enseñar a la IA a reconocer más que solo formas (como cuánto gas tiene una galaxia o si tiene un agujero negro).
• Mejorar en la detección de las galaxias "Irregulares" que son raras.
• Probar esto en datos de telescopios aún más grandes y futuros (como el Observatorio Vera C. Rubin).

En resumen, construyeron un puente que permite que una IA entrenada en simulaciones por computadora perfectas comprenda con éxito fotos reales y desordenadas del universo.

Resumen técnico

Resumen Técnico: De Simulaciones a Sondeos: Adaptación de Dominio para Observaciones Galácticas

Declaración del Problema
El artículo aborda el desafío crítico de transferir modelos de aprendizaje automático entrenados en datos galácticos simulados a sondeos observacionales reales. Mientras que los grandes sondeos fotométricos (por ejemplo, el Observatorio Vera C. Rubin, Euclid) imágenesarán miles de millones de galaxias, inferir propiedades físicas como la morfología, la masa estelar y las tasas de formación estelar sigue siendo difícil sin métodos rápidos y automatizados. Las simulaciones (específicamente TNG50) proporcionan imágenes con etiquetas físicas de verdad fundamental (ground-truth), pero existe un "desplazamiento de dominio" (domain shift) significativo entre estas simulaciones y los datos reales (por ejemplo, SDSS). Este desplazamiento surge de las diferencias en la Función de Dispersión de Punto (PSF), el ruido, los niveles de fondo, las funciones de selección y los priors demográficos. La transferencia ingenua de modelos entrenados en simulaciones a datos reales corre el riesgo de sesgar las inferencias físicas, distorsionar las demografías de masa–tasa de formación estelar y contaminar las relaciones de escala. Los autores enmarcan esto como un problema de desplazamiento de covariables donde la distribución condicional de las etiquetas es aproximadamente estable ($p_S(y|x) \approx p_T(y|x)$), pero las distribuciones de entrada y de selección difieren ($p_S(x) \neq p_T(x)$).

Metodología
Los autores proponen un esquema preliminar de adaptación de dominio que entrena sobre observaciones simuladas de TNG50 y evalúa sobre galaxias reales de SDSS con etiquetas de morfología derivadas de Galaxy Zoo.

• Datos:
  • Fuente: 3,232 galaxias de la simulación Illustris TNG50 (z=0 y z≈0.05) procesadas con SKIRT para generar imágenes sintéticas de 4 bandas (g, r, i, z). El conjunto de datos se aumentó mediante giros y rotaciones hasta alcanzar 25,856 imágenes.
  • Objetivo: 6,416 galaxias reales de SDSS con etiquetas de morfología derivadas de voluntarios de Galaxy Zoo. Las clases están altamente desbalanceadas, con las espirales dominando y las irregulares siendo raras.
• Arquitecturas: Se comparan tres redes de base (backbone):
  1. Una pequeña CNN personalizada (dos bloques convolucionales + MLP).
  2. Una CNN E(2)-direccionable (ESCNN) utilizando un grupo de rotación discreto $C_8$.
  3. Una ResNet-18 preentrenada en ImageNet, ajustada (fine-tuned) con una cabeza MLP específica para la tarea.
• Funciones de Pérdida y Estrategia de Entrenamiento:
  • Pérdida Supervisada: Se utiliza la pérdida focal (focal loss) con ponderación de número efectivo de clases para manejar el desbalance de clases, reemplazando la entropía cruzada estándar.
  • Alineación de Dominio: La contribución central es una pérdida de dominio a nivel de características ($L_D$) calculada sobre incrustaciones (embeddings) normalizadas en $L_2$ mediante métricas de distancia diferenciables de una biblioteca extendida de GeomLoss. Los autores comparan 46 medidas distintas de distancia/similitud a través de ocho familias (por ejemplo, Minkowski, Producto Interno, Entropía).
  • Transporte Óptimo (OT) y Emparejamiento Top-k: Se introduce una novedosa pérdida de alineación compuesta ($L_{OT}$). Esta combina:
    1. Transporte óptimo entrópico global (divergencia de Sinkhorn) para un emparejamiento suave (soft matching).
    2. Una penalización "top-k" que se enfoca en los $k$ pares fuente-objetivo peor emparejados para evitar acoplamientos erróneos (por ejemplo, que las espirales se alineen con las elípticas).
    3. La pérdida completa es $L = \lambda_{sup} L_{sup} + \lambda_D L_D + \lambda_{OT} L_{OT}$.
  • Régimen de Entrenamiento: Los modelos pasan por un calentamiento (warmup) de 20 épocas con solo pérdida supervisada, seguido de un entrenamiento conjunto. Las estrategias para ponderar las pérdidas incluyen pesos fijos, pesos entrenables (vía funciones sigmoides) y un "programa de desenfoque" (blur schedule) para los parámetros de Sinkhorn. También se implementa como línea base una Red Neuronal de Adversaria de Dominio (DANN) con una Capa de Reversión de Gradiente (GRL).
• Resultados Clave:
• Ganancias de Rendimiento: El esquema de adaptación de dominio mejora significamente el rendimiento en el dominio objetivo. Sin adaptación (Línea base), el F1 macro es aproximadamente del 30% (precisión 46%). Con la adaptación propuesta basada en la distancia euclidiana usando pesos entrenables y emparejamiento top-k, el F1 macro del objetivo aumenta a **62.6%** y la precisión a ~87.3%.
• Alineación del Espacio Latente: La efectividad de la adaptación se visualiza mediante un clasificador de dominio (AUC). La Línea base muestra una separación de dominio perfecta (AUC = 1.00), indicando que el modelo puede distinguir fácilmente la simulación de los datos reales. En contraste, los mejores modelos adaptados logran un AUC de dominio cercano a 0.51–0.53, lo que indica que las distribuciones fuente y objetivo están efectivamente mezcladas en el espacio latente.
• Sensibilidad de la Métrica: El estudio destaca que la elección de la métrica de distancia en la pérdida de alineación es crucial. Aunque la distancia euclidiana funcionó bien, los autores probaron sistemáticamente 12 métricas representativas (incluyendo Jaccard, Dice y varios de normas) para comprender su impacto en la alineación.
• Estabilidad: El esquema de ponderación entrenable ($\lambda_{sup}, \lambda_D$) proporcionó la convergencia más estable en comparación con los pesos fijos o el entrenamiento adversario por sí solo.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un esquema prototipo y un precursor de un esfuerzo mayor destinado a interpretar las próximas observaciones de galaxias del Observatorio Vera C. Rubin utilizando cientos de miles de observaciones simuladas de Illustris.

• Alcance Modesto: Los autores declaran explícitamente que este es un estudio "preliminar" y una "prueba de concepto". No pretenden haber resuelto el problema general de la adaptación de dominio para todas las tareas astrofísicas, sino demostrar que combinaciones específicas de pérdidas basadas en OT y emparejamiento top-k pueden cerrar eficazmente la brecha entre las simulaciones de TNG50 y las observaciones de SDSS para la clasificación morfológica.
• Consecuencia Científica: El trabajo enfatiza que una adaptación de dominio robusta es necesaria para preservar predicciones calibradas y físicamente significativas para estudios de población. Sin ella, los modelos corren el riesgo de desplazar las mezclas de tipos tempranos/tardíos y distorsionar las relaciones de escala.
• Direcciones Futuras: Los autores delinean pasos específicos a seguir, incluyendo la extensión hacia el aprendizaje multitarea (masa estelar, AGN, formación estelar), la mejora del manejo de la clase rara de "irregulares", la investigación de programadores de tasa de aprendizaje sensibles a la distancia y la prueba de arquitecturas alternativas como los transformadores equivariantes.

El artículo concluye que, si bien estudios previos han mostrado resultados prometedores, el desarrollo metodológico en métricas de distancia y estrategias de alineación (específicamente el emparejamiento suave top-k) ofrece un camino viable hacia un aprendizaje por transferencia confiable para la próxima generación de sondeos astronómicos.