💻 computer science

ImmuVis: Hyperconvolutional Foundation Model for Imaging Mass Cytometry

ImmuVis es un modelo fundacional hiperconvolucional entrenado en el masivo conjunto de datos IMC17M que aborda los conjuntos variables de marcadores en la citometría de masas por imagen mediante el uso de kernels adaptativos a los marcadores para permitir un análisis eficiente y sin necesidad de reentrenamiento con incertidumbre calibrada a través de subconjuntos de marcadores arbitrarios.

Autores originales: Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkows

Publicado 2026-05-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkowski, Karol Zagródka, Eike Staub, Ewa Szczurek

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef maestro intentando recrear platos complejos y multicapa (tejidos) basándote en una lista de ingredientes (marcadores biológicos) que tienes a mano.

En el mundo de la Citometría de Masas por Imagen (IMC), los científicos toman fotografías de muestras de tejido para ver qué proteínas están presentes. Piensa en cada proteína como un ingrediente específico. El problema es que ningún par de chefs (estudios de investigación) utiliza exactamente la misma receta. Un estudio podría tener 20 ingredientes, otro podría tener 40, y rara vez se superponen perfectamente.

El Problema: La Trampa del "Menú Fijo"

Los modelos de IA anteriores para analizar estas imágenes eran como chefs que solo sabían cocinar si se les daba un menú fijo. Si se les daba una receta con ingredientes que nunca habían visto antes, o si faltaba un ingrediente que esperaban, se rompían o se negaban a cocinar. No podían adaptarse.

Además, cuando estos chefs intentaban adivinar un ingrediente faltante (un proceso llamado "tinción virtual"), solo te daban una sola conjetura. Si la conjetura era incorrecta, no te lo decían. Actuaban como si tuvieran un 100% de certeza, incluso cuando la evidencia era débil.

La Solución: ImmuVis (El "Ayudante de Chef Adaptable")

Los autores de este artículo presentan ImmuVis, una nueva familia de modelos de IA diseñada para ser el ayudante de chef adaptable definitivo. Así es como funciona, utilizando analogías simples:

1. El Cinturón de Herramientas Mágico (Hiperconvoluciones)

En lugar de tener un conjunto fijo de herramientas para ingredientes específicos, ImmuVis tiene un cinturón de herramientas mágico.

Cómo funciona: Cuando le entregas al modelo un conjunto específico de ingredientes (marcadores), este "imprime en 3D" instantáneamente las herramientas perfectas (kernels convolucionales) necesarias para procesar solo esos ingredientes.
El Beneficio: No importa si le das 5 ingredientes o 30, o si son completamente diferentes a lo que aprendió antes. Construye las herramientas correctas sobre la marcha. Puede manejar cualquier combinación de marcadores sin necesidad de ser reentrenado ni de que se modifique su arquitectura.

2. El Traductor Universal (Espacio Latente Pan-marcador)

Una vez que el modelo tiene sus herramientas personalizadas, traduce todos los diferentes ingredientes a un lenguaje universal (un espacio latente compartido).

La Analogía: Imagina traducir una conversación entre personas que hablan 20 dialectos diferentes a un único idioma común. Una vez que todo está en este idioma común, el modelo puede entender las relaciones entre los ingredientes, independientemente de cuáles específicos estaban presentes en la imagen original.

3. La Predicción "Honesta" (Incertidumbre)

Cuando ImmuVis intenta predecir un ingrediente faltante (tinción virtual), no solo te da un número. Te da una puntuación de confianza.

La Analogía: Si el modelo está adivinando una especia faltante basada en evidencia débil, dice: "Creo que es pimentón, pero no estoy muy seguro". Si la evidencia es fuerte, dice: "Definitivamente es pimentón".
Por qué importa: Esto evita que el modelo invente hechos biológicos con confianza cuando los datos no están claros. Señala las predicciones "arriesgadas" para que los científicos sepan dónde tener precaución.

4. Velocidad y Eficiencia

Los modelos anteriores eran como camiones pesados y lentos intentando llevar todos los ingredientes posibles a la vez. ImmuVis es como un deportivo ligero y ágil.

Procesa imágenes mucho más rápido y utiliza significativamente menos potencia de cálculo (energía) que sus competidores, haciéndolo práctico para estudios a gran escala que involucran miles de imágenes.

El Campo de Entrenamiento: IMC17M

Para enseñar a este modelo, los autores crearon la "escuela de cocina" más grande jamás ensamblada para esta tarea, llamada IMC17M.

Contiene más de 17 millones de parches de imagen de 28 estudios diferentes (cohortes).
Cubre 265 marcadores diferentes (ingredientes).
Al entrenarse en este conjunto de datos masivo y diverso, el modelo aprendió a reconocer patrones a través de diferentes "recetas" y tipos de tejido, permitiéndole rendir bien incluso en nuevas combinaciones de marcadores no vistas anteriormente.

Los Resultados

Cuando se probó, ImmuVis demostró ser:

Más Preciso: Recreó marcadores faltantes mejor que los modelos anteriores de última generación.
Más Honesto: Sus puntuaciones de confianza coincidieron perfectamente con lo incorrectas o correctas que fueron sus conjeturas.
Más Rápido: Funcionó significativamente más rápido y barato que los pesados modelos basados en Transformer contra los que competía.
Versátil: Funcionó bien para identificar tipos de células y predecir resultados clínicos, demostrando que su "lenguaje universal" de tejido es útil para muchas tareas diferentes.

En resumen, ImmuVis es un marco de IA flexible, rápido y honesto que finalmente permite a los científicos analizar imágenes complejas de tejidos independientemente de qué marcadores específicos se midieron, resolviendo el problema de las "recetas incompatibles" en la imagenología biológica.

Resumen Técnico: ImmuVis

Enunciado del Problema
La Citometría de Masas por Imagen (IMC) permite el perfilado espacial de alta capacidad y subcelular de tejidos mediante la medición de anticuerpos marcados con metales. Sin embargo, un desafío fundamental en el modelado de datos de IMC es la falta de un espacio de canales fijo. A diferencia de las imágenes naturales con un conjunto estático de canales RGB, los paneles de IMC varían significativamente entre estudios debido a la interferencia física de canales y a diseños experimentales específicos de la cohorte. Esta heterogeneidad viola la suposición central de las arquitecturas de visión estándar, que requieren una dimensión de entrada fija. Los enfoques existentes, como las U-Net, están restringidos a paneles de marcadores fijos, mientras que los modelos recientes basados en Transformers (por ejemplo, VirTues, EVA) intentan manejar entradas variables concatenando tokens espaciales específicos de marcadores con codificaciones de identidad. Estos métodos basados en tokens a menudo ignoran dependencias locales cruciales de los marcadores e incurren en altos costos computacionales a medida que aumentan la cantidad de marcadores y las resoluciones espaciales. Además, la tinción virtual (predecir marcadores no medidos) es un problema mal planteado cuando la evidencia es débil; los modelos actuales a menudo carecen de estimaciones de incertidumbre calibradas, lo que dificulta distinguir entre reconstrucciones biológicamente plausibles y predicciones erróneas.

Metodología
Los autores introducen ImmuVis, una familia de modelos fundamentales diseñada para unificar el aprendizaje con entradas variables, la eficiencia computacional y la cuantificación de la incertidumbre. La innovación central es una arquitectura de hiperconvolución adaptable a marcadores.

Arquitectura de Hiperconvolución:
- Codificación Agnóstica a Marcadores: Los canales de entrada de marcadores se procesan primero de forma independiente por un tallo convolucional compartido ( $Enc_{ma}$ ) para capturar patrones espaciales locales.
- Hiperconvolución Condicional: En lugar de pesos fijos, el modelo emplea una hiperred que genera kernels de convolución condicionados a codificaciones de marcadores aprendidas. Para un conjunto de entrada de marcadores $I_e$ , se construye un hiperkernel $H^e_{I_e}$ concatenando generadores de kernels aprendidos $\phi_e(i)$ para cada marcador $i \in I_e$ . Esto permite que el modelo adapte dinámicamente sus operadores de extracción de características al subconjunto específico de marcadores observados sin cambios arquitectónicos.
- Backbone de Marcadores Pan: La salida de la hiperconvolución es una incrustación unificada de tamaño fijo que puede ser procesada por backbones de visión por computadora estándar (por ejemplo, ConvNeXt v2, Swin Transformer, ViT).
- Decodificador Simétrico: El decodificador refleja al codificador, utilizando una hiperconvolución condicionada a marcadores para mapear la representación latente a marcadores objetivo específicos, prediciendo tanto la expresión media como la log-varianza (incertidumbre).
Estrategia de Entrenamiento:
- Conjunto de Datos: Los modelos se preentrenan en IMC17M, el conjunto de datos de IMC más grande hasta la fecha, que comprende 24.405 imágenes, 265 marcadores y más de 17 millones de parches en 28 cohortes.
- Objetivo: Los modelos se entrenan utilizando una tarea de reconstrucción de canal enmascarado con una pérdida de regresión heterocedástica Gaussiana. Este objetivo modela los píxeles objetivo como distribuciones Gaussianas independientes, permitiendo que la red prediga tanto la media ( $\mu$ ) como la varianza ( $\sigma^2$ ). La predicción de la varianza proporciona una estimación de incertidumbre calibrada que se correlaciona con el error de reconstrucción.
- Preprocesamiento: Los autores emplean una pipeline de preprocesamiento específica que incluye la transformación arcsinh (para manejar la dinámica del recuento de iones), filtrado paso bajo de Butterworth (para reducir el ruido específico de IMC) y escalado al percentil 99 mínimo.

Contribuciones Clave

Diseño de Hiperconvolución: Una arquitectura novedosa que genera kernels de convolución a partir de codificaciones de marcadores aprendidas, permitiendo que un solo modelo procese subconjuntos arbitrarios de marcadores sin reentrenamiento ni modificación arquitectónica.
Familia Eficiente de Modelos Fundamentales: Implementación de tres variantes (ImmuVisConv, ImmuVisSwin, ImmuVisViT) que aprovechan backbones establecidos. Estos modelos logran un rendimiento de vanguardia con costos computacionales significativamente menores en comparación con las alternativas de Transformer basadas en concatenación de tokens.
Aprendizaje Consciente de la Incertidumbre: Integración de un objetivo de verosimilitud heterocedástica que produce estimaciones de incertidumbre a nivel de píxel, abordando los problemas de fiabilidad inherentes a la tinción virtual para fenotipos raros o patrones atípicos.
Preentrenamiento a Gran Escala: La curación y utilización de IMC17M, facilitando el aprendizaje de representaciones robustas y transferibles a través de diversas histologías y paneles de marcadores.

Resultados

Tinción Virtual: Las variantes de ImmuVis superan a las líneas base de vanguardia (VirTues, EVA) en tareas de tinción virtual. Específicamente, ImmuVisSwin e ImmuVisConv lograron el menor Error Cuadrático Medio (MSE) y la mayor correlación de Pearson, demostrando una preservación superior de la estructura espacial en comparación con los métodos basados en tokens.
Calibración de Incertidumbre: La cabeza heterocedástica produce estimaciones de incertidumbre que se correlacionan fuertemente con el error de reconstrucción (correlación de Pearson > 0,92). Los modelos proporcionan señales de confianza significativas a nivel de píxel, con ImmuVisSwin logrando el menor Área bajo el Error de Esparcimiento (AUSE).
Aprendizaje de Representaciones: En tareas posteriores, las incrustaciones de ImmuVis arrojaron un rendimiento de vanguardia en la tipificación celular (ImmuVisConv logró un Macro-F1 de 0,709) y en la predicción clínica (ImmuVisSwin logró un Macro-F1 de 0,641), superando a las variantes de VirTues y EVA.
Eficiencia Computacional: Los modelos de ImmuVis operan con un costo computacional sustancialmente menor. ImmuVisConv requiere aproximadamente 89,9 GFLOPs por paso hacia adelante, lo que es un orden de magnitud menor que VirTues (1049,3 GFLOPs) y casi 40 veces menor que EVA (3590 GFLOPs). Los tiempos de inferencia son proporcionalmente más rápidos (por ejemplo, 13,4 ms frente a 28,5 ms para VirTues).

Significado
El artículo posiciona a ImmuVis como un marco práctico para el modelado de IMC en el mundo real que aborda las restricciones críticas de la heterogeneidad de paneles y la eficiencia computacional. Al permitir que un único modelo fundamental opere en subconjuntos arbitrarios de marcadores sin reentrenamiento, ImmuVis facilita el perfilado espacial de tejidos a gran escala y la actualización retrospectiva de cohortes heredadas. La integración de incertidumbre calibrada ofrece un enfoque consciente de la fiabilidad para la tinción virtual, lo cual es crucial para aplicaciones clínicas donde los falsos positivos o las predicciones de baja confianza deben ser señalados. Los autores sugieren que esta adaptabilidad de canal a nivel de operador proporciona una receta general para construir modelos fundamentales en imagen multiplexada y más allá, combinando flexibilidad, eficiencia y fiabilidad dentro de una sola arquitectura.