💻 computer science

Retrieval-Augmented Visual Prompting: Guiding Foundation Models in Two-Photon Imaging

Este artículo presenta la Prompteado Visual Aumentado por Recuperación (RAVP, por sus siglas en inglés), un marco que mejora la detección de neuronas y la segmentación de instancias zero-shot en la imagen de calcio de dos fotones mediante la inyección de ejemplares anotados recuperados como prompts visuales en modelos fundacionales como SAM 3, ofreciendo una alternativa efectiva en tiempo de inferencia frente al ajuste fino tradicional.

Autores originales: Salvatore Calcagno, Marco Finocchiaro, Giovanni Bellitto, Daniela Giordano, Concetto Spampinato, Federica Proietto Salanitri

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Salvatore Calcagno, Marco Finocchiaro, Giovanni Bellitto, Daniela Giordano, Concetto Spampinato, Federica Proietto Salanitri

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo silencioso y oscuro dentro de un cerebro vivo, los científicos utilizan un microscopio potente para observar cómo las neuronas disparan. Esta técnica, conocida como imagen de calcio de dos fotones, captura la actividad eléctrica de células cerebrales individuales como puntos brillantes y resplandecientes contra un fondo oscuro. Es una piedra angular de la neurociencia moderna, que permite a los investigadores ver cómo poblaciones de células trabajan juntas para crear el pensamiento y el movimiento. Sin embargo, convertir estos vídeos resplandecientes en datos útiles es increíblemente difícil. Las imágenes son desordenadas; algunas células brillan intensamente mientras que otras son tenues, y la apariencia de las células cambia drásticamente dependiendo del animal, de la profundidad del cerebro que se está filmando o del equipo específico utilizado. Para estudiar estas células, los científicos deben primero dibujar un contorno preciso alrededor de cada una, una tarea que es lenta, costosa y propensa al error humano. Durante años, la esperanza ha sido que la inteligencia artificial pudiera aprender a hacer esto automáticamente, pero la pura variedad de cómo se ven estas células ha hecho que sea difícil que los programas informáticos generalicen de un experimento al siguiente.

Recientemente, ha surgido una nueva generación de modelos de inteligencia artificial que pueden comprender imágenes con muy poca instrucción. Estos se llaman modelos fundacionales, y han sido entrenados con colecciones masivas de fotos cotidianas, aprendiendo a reconocer formas y objetos sin necesidad de que se les enseñe cada detalle. Uno de estos modelos, diseñado para segmentar cualquier cosa en una imagen, ha mostrado promesa en la imagen médica. Sin embargo, cuando los investigadores intentaron aplicar esta poderosa herramienta directamente al complejo y cambiante mundo de los vídeos de células cerebrales, esta tuvo dificultades. El modelo, entrenado con gatos, coches y árboles, no comprendía naturalmente los sutiles y brillantes cúmulos de una neurona. Necesitaba ayuda, pero la forma tradicional de ayudar a una inteligencia artificial es reentrenarla, alimentándola con miles de nuevos ejemplos hasta que aprenda las nuevas reglas. Este proceso es lento, requiere enormes cantidades de datos etiquetados y a menudo bloquea al modelo en una forma específica de ver el mundo, haciéndolo menos flexible para futuros experimentos.

Un equipo de investigadores de la Universidad de Catania, en Italia, se hizo una pregunta diferente. En lugar de intentar cambiar el cerebro de la inteligencia artificial, se preguntaron si podrían cambiar los ojos a través de los cuales ve. Propusieron un método llamado Visual Prompting con Recuperación Aumentada (Retrieval-Augmented Visual Prompting). Imagine que intenta describir un tipo específico de nube a un amigo que nunca la ha visto. Podría intentar explicar la forma y el color con palabras, o simplemente mostrarle una foto de esa nube. Los investigadores se dieron cuenta de que la mejor manera de guiar a la inteligencia artificial era mostrarle una foto. Construyeron un sistema donde, antes de que el modelo observe una nueva imagen cerebral, se le muestra un ejemplo pequeño y cuidadosamente seleccionado de una neurona de una biblioteca de imágenes previamente anotadas. Este ejemplo se coloca justo al lado de la nueva imagen, actuando como una pista visual. Luego se le pide al modelo que encuentre todas las demás neuronas que se parezcan a la del ejemplo.

Los investigadores probaron esta idea en un enorme conjunto de datos públicos de grabaciones cerebrales de ratones. Descubrieron que el simple hecho de mostrar al modelo un único ejemplo bien elegido mejoraba drásticamente su capacidad para encontrar y delinear neuronas, incluso cuando el modelo nunca había visto ese tipo específico de grabación cerebral antes. La clave no era solo mostrar cualquier ejemplo, sino mostrar el correcto. Desarrollaron una forma inteligente de elegir el mejor ejemplo de su biblioteca, haciendo coincidir el brillo y la textura del ejemplo con la imagen específica que se está analizando. Cuando utilizaron este método, el rendimiento del modelo saltó significamente, cerrando la brecha entre un modelo nuevo y no entrenado y uno que había sido extensamente reentrenado con los datos específicos. De hecho, usar un único ejemplo perfectamente emparejado fue más efectivo que mostrar al modelo varios ejemplos diferentes a la vez. El estudio sugiere que, para tareas especializadas como el análisis de escaneos cerebrales, el camino más eficiente podría no ser reconstruir la inteligencia artificial desde cero, sino simplemente darle el contexto visual adecuado en el momento en que necesita tomar una decisión.

Los resultados fueron claros y consistentes a través de diferentes tipos de grabaciones cerebrales. Cuando el modelo se dejaba a adivinar por su cuenta, a menudo perdía células tenues o dibujaba contornos desordenados. Pero cuando los investigadores proporcionaban un único ejemplo relevante de su biblioteca, el modelo de repente comprendía qué buscar. Se volvió mucho mejor encontrando las células tenues y débiles que usualmente pasan desapercibidas y separando células que están tocándose entre sí. Los investigadores también descubrieron que la forma específica en que elegían el ejemplo importaba. Un ejemplo aleatorio ayudaba, pero un ejemplo elegido para coincidir con las condiciones específicas de la nueva imagen ayudaba aún más. Entrenaron un programa informático pequeño y ligero para actuar como selector, aprendiendo a predecir qué ejemplo sería más útil para una imagen dada. Este selector permitió que el sistema se adaptara instantáneamente a nuevas condiciones sin cambiar nunca la configuración central del modelo de inteligencia artificial principal.

Este enfoque ofrece una alternativa convincente al método estándar de reentrenamiento de la inteligencia artificial. El reentrenamiento requiere una potencia de cálculo y un tiempo significativos, y a menudo resulta en un modelo que es excelente para una tarea específica pero olvida cómo hacer otras. El nuevo método mantiene el modelo original congelado e inalterado, preservando su conocimiento general mientras le permite adaptarse a nuevas y difíciles tareas mediante simples pistas visuales. Los investigadores descubrieron que este método recuperaba una gran parte de las ganancias de rendimiento que normalmente se logran con un reentrenamiento completo, pero a una fracción del coste. Esto sugiere que, en campos donde los datos son escasos y las condiciones varan enormemente, el futuro de la inteligencia artificial podría residir menos en enseñar nuevos hechos a la máquina y más en enseñarle cómo mirar el mundo a través del lente adecuado. Al inyectar memoria visual directamente en la entrada, los investigadores han demostrado que un modelo fundacional puede ser guiado para realizar tareas de nivel experto en imágenes biomédicas especializadas sin la pesada carga de la adaptación de parámetros.

Resumen Técnico: Prompting Visual de Recuperación Aumentada (RAVP)

Planteamiento del Problema

La imagen de calcio de dos fotones (2PCI) presenta un desafío significativo para los modelos fundacionales debido a la sustancial variabilidad en la apariencia de las imágenes a través de diferentes registros, condiciones experimentales y sujetos animales. Las dificultades clave incluyen el amplio rango de fluorescencia neuronal (donde las neuronas activas aparecen como manchas brillantes y las silenciosas son casi indistinguibles del fondo), los cambios de dominio causados por diferentes configuraciones de microscopios y profundidades corticales, y la escasez de anotaciones expertas requeridas para el entrenamiento. Aunque los modelos fundacionales de visión a gran escala, como la familia Segment Anything Model (SAM), ofrecen capacidades de segmentación generalizables, sus mecanismos de prompting de pocos disparos (few-shot) no se transfieren de manera fiable a 2PCI. Específicamente, definir conceptos mediante cajas delimitadoras (bounding boxes) dentro de la imagen objetivo requiere una anotación manual especializada y no logra capturar toda la variabilidad de la apariencia del dominio objetivo. Además, no está claro qué ejemplos específicos son más informativos para una imagen objetivo dada.

Metodología

El artículo propone el Prompting Visual de Recuperación Aumentada (RAVP), un marco diseñado para guiar a SAM 3 en el momento de la inferencia mediante la inyección de memoria visual externa directamente en la entrada del modelo, sin modificar los pesos o la arquitectura del modelo.

Mecanismo Central

RAVP emplea una estrategia de composición de imágenes aumentada por recuperación:

Construcción de la Biblioteca: Se construye una biblioteca externa anotada $L$ a partir de una división de datos no utilizada (held-out split), que contiene recortes de imágenes centrados en neuronas anotadas, sus máscaras de verdad de campo (ground-truth) y sus valores de fluorescencia media.
Composición de la Imagen: Para cada tesela objetivo $T_p$ de una proyección máxima de 2PCI, se construye una imagen compuesta $\tilde{I}_p$ . La tesela objetivo se coloca en el centro de un lienzo, y un borde se rellena con recortes ejemplares recuperados de $L$ .
Prompting Visual: Las cajas delimitadoras de las neuronas anotadas en la región del borde (los ejemplares recuperados) sirven como prompts de concepto para la cabeza de Segmentación de Conceptos Promptable (PCS) de SAM 3. El modelo tiene la tarea de detectar y segmentar todas las instancias que coincidan con el concepto definido por el ejemplar en todo el lienzo.
Restricción de Salida: Las predicciones se restringen a la región objetivo original mediante un mapa de coordenadas inverso.

Estrategias de Selección de Ejemplares

Reconociendo que no todos los ejemplares son igualmente informativos debido a la variabilidad de la fluorescencia, los autores estudian varias estrategias de selección:

Aleatoria (Random): Muestreo uniforme de ejemplares de la biblioteca.
Fluorescencia Fija (Fixed Fluorescence): Selección de ejemplares basados en un valor de fluorescencia objetivo fijo (establecido empíricamente en valores bajos para evitar el sesgo hacia estructuras de alta señal únicamente).
Adaptativa a la Imagen (Image-Adaptive): Selección de ejemplares cuya fluorescencia media coincide con la intensidad media de la tesela objetivo actual.
Predictor de Recall ( $\pi_\theta$ ): Un predictor ligero entrenado fuera de línea (offline) para estimar el recall que SAM 3 lograría para un par objetivo-ejemplar determinado. El predictor utiliza características visuales extraídas por una red ResNet-18 congelada y es supervisado por los resultados reales de la inferencia de SAM 3 en la división de entrenamiento. En la inferencia, selecciona el ejemplar que maximiza el recall predicho.

Detalles de Implementación

Ventana Deslizante (Sliding Window): Debido a la capacidad de predicción limitada de SAM 3, las imágenes se procesan utilizando un enfoque de ventana deslizante con un 50% de solapamiento, seguido de Supresión de No Máximos (NMS).
Configuración: Los experimentos utilizan un único recorte de ejemplar por tesela, colocado aleatoriamente en el borde superior o izquierdo, con el resto del borde rellenado con relleno negro (black padding).

Contribuciones Clave

Marco RAVP: Una estrategia de composición de imágenes aumentada por recuperación que transforma una biblioteca externa de ejemplares en memoria visual para SAM 3, permitiendo la adaptación en el tiempo de inferencia sin actualizaciones de pesos.
Análisis Sistemático de Selección: Un estudio comparativo de las estrategias de selección de ejemplares, demostrando que el emparejamiento de ejemplares con el régimen de fluorescencia del objetivo mejora el rendimiento.
Predictor de Recall Ligero: La introducción de $\pi_\theta$ , un modelo entrenado para seleccionar ejemplares informativos en el tiempo de inferencia sin requerir anotaciones de verdad de campo para el objetivo, utilizando los propios resultados de la inferencia de SAM 3 como señal de supervisión.
Evaluación Exhaustiva: Experimentos extensos en el Allen Brain Observatory (ABO) que muestran que la inyección de memoria visual fortalece consistentemente el rendimiento zero-shot, ofreciendo una alternativa competitiva a la adaptación de parámetros.

Resultados Experimentales

Los experimentos se realizaron con el conjunto de datos Allen Brain Observatory, dividido en subconjuntos in-domain, out-of-domain (OOD) y STNeuroNet.

Zero-Shot vs. Adaptación: SAM 3 zero-shot logró una precisión modesta (AP50 ≈ 0.28) pero un alto recall. El ajuste fino completo (full fine-tuning), el ajuste fino solo del codificador (encoder-only fine-tuning) y LoRA mejoraron significativamente el rendimiento (AP50 ≈ 0.68–0.69).
Rendimiento de RAVP: En el régimen zero-shot, RAVP superó significativamente al baseline.
- Incluso la selección aleatoria mejoró el AP50 de 0.28 a 0.45.
- El Predictor de Recall logró los mejores resultados entre los métodos zero-shot, alcanzando un AP50 = 0.53 y una media armónica (H) de 0.62 en el conjunto de prueba in-domain.
- En el split OOD, RAVP mejoró la media armónica de 0.20 (zero-shot) a aproximadamente 0.58–0.60, demostrando robustez al cambio de dominio.
Comparación con Fine-Tuning: Aunque RAVP no cerró completamente la brecha con los modelos ajustados (fine-tuned), recuperó una gran fracción de las ganancias de rendimiento con un costo de adaptación significativamente menor (estimado en el 42% del ajuste fino completo y el 55% de la adaptación LoRA).
Estudios de Ablación:
- Cantidad de Ejemplares: Se encontró que un único ejemplar cuidadosamente seleccionado ( $k=1$ ) era más efectivo que múltiples ejemplares ( $k > 1$ ), lo cual provocaba una degradación del rendimiento.
- Tamaño de la Biblioteca: Aumentar el tamaño de la biblioteca de 1 a 50 candidatos produjo la mayor parte de las ganancias, con rendimientos decrecientes más allá de ese punto.
- Estrategia de Selección: Bajo un fuerte cambio de dominio (OOD), la política de selección específica importaba menos que la presencia del propio mecanismo de recuperación, aunque el Predictor de Recall generalmente funcionó mejor in-domain.

Significancia y Reivindicaciones

El artículo posiciona la inyección de memoria visual en el tiempo de inferencia como una alternativa simple y efectiva a la adaptación de parámetros para modelos fundacionales en imágenes biomédicas especializadas. Los autores afirman que RAVP permite la adaptación únicamente a través del diseño de la entrada, aprovechando la interfaz nativa de Segmentación de Conceptos Promptable de SAM 3.

El trabajo sugiere que en dominios donde los corpus anotados son escasos y la variabilidad de la apariencia es alta, la inyección de ejemplares recuperados directamente en el plano de la imagen puede mejorar sustancialmente la detección zero-shot y la segmentación de instancias. Los autores señalan que, si bien el Predictor de Recall requiere una fase de entrenamiento fuera de línea utilizando los resultados de la inferencia de SAM 3, los selectores más simples (como los adaptativos a la imagen o de fluorescencia fija) evitan este costo y siguen siendo competitivos. El enfoque se presenta como una alternativa flexible a la adaptación basada en pesos, con potencial aplicabilidad más allá de 2PCI a otros dominios biomédicos donde los modelos fundacionales tienen dificultades para generalizar.