💻 computer science

Retrieval-Augmented Visual Prompting: Guiding Foundation Models in Two-Photon Imaging

Este artigo introduz o Retrieval-Augmented Visual Prompting (RAVP), um framework que aprimora a detecção de neurônios zero-shot e a segmentação de instâncias em imagens de cálcio de dois fótons ao injetar exemplares anotados recuperados como prompts visuais em modelos de fundação como o SAM 3, oferecendo uma alternativa eficaz de tempo de inferência ao ajuste fino tradicional.

Autores originais: Salvatore Calcagno, Marco Finocchiaro, Giovanni Bellitto, Daniela Giordano, Concetto Spampinato, Federica Proietto Salanitri

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Salvatore Calcagno, Marco Finocchiaro, Giovanni Bellitto, Daniela Giordano, Concetto Spampinato, Federica Proietto Salanitri

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo silencioso e escuro dentro de um cérebro vivo, cientistas usam um microscópio poderoso para observar os neurônios disparando. Esta técnica, conhecida como imagem de cálcio de dois fótons, captura a atividade elétrica de células cerebrais individuais como pontos brilhantes e resplandecentes contra um fundo escuro. É um pilar da neurociência moderna, permitindo que pesquisadores vejam como populações de células trabalham juntas para criar o pensamento e o movimento. No entanto, transformar esses vídeos brilhantes em dados úteis é incrivelmente difícil. As imagens são desordenadas; algumas células brilham intensamente enquanto outras são fracas, e a aparência das células muda drasticamente dependendo do animal, da profundidade do cérebro que está sendo filmado ou do equipamento específico utilizado. Para estudar essas células, os cientistas devem primeiro desenhar um contorno preciso ao redor de cada uma, uma tarefa que é lenta, cara e propensa ao erro humano. Durante anos, a esperança foi que a inteligência artificial pudesse aprender a fazer isso automaticamente, mas a enorme variedade de como essas células se parecem tornou difícil para os programas de computador generalizarem de um experimento para o outro.

Recentemente, uma nova geração de modelos de inteligência artificial surgiu, capaz de compreender imagens com pouquíssima instrução. Estes são chamados de modelos de fundação, e são treinados em coleções massivas de fotos cotidianas, aprendendo a reconhecer formas e objetos sem precisar ser ensinados cada detalhe. Um desses modelos, projetado para segmentar qualquer coisa em uma imagem, mostrou-se promissor na imagem médica. No entanto, quando pesquisadores tentaram aplicar essa ferramenta poderosa diretamente ao mundo complexo e mutável dos vídeos de células cerebrais, ela teve dificuldades. O modelo, treinado em gatos, carros e árvores, não compreendeu naturalmente os borrões sutis e brilhantes de um neurônio. Ele precisava de ajuda, mas a maneira tradicional de ajudar uma inteligência artificial é retreiná-la, alimentando-a com milhares de novos exemplos até que aprenda as novas regras. Esse processo é lento, exige uma quantidade vasta de dados rotulados e frequentemente prende o modelo a uma forma específica de ver o mundo, tornando-o menos flexível para experimentos futuros.

Uma equipe de pesquisadores da Universidade de Catânia, na Itália, fez uma pergunta diferente. Em vez de tentar mudar o cérebro da inteligência artificial, eles se perguntaram se poderiam mudar os olhos através dos quais ela vê. Eles propuseram um método chamado Prompt Visual de Recuperação Aumentada (Retrieval-Augmented Visual Prompting). Imagine que você está tentando descrever um tipo específico de nuvem para um amigo que nunca a viu. Você pode tentar explicar a forma e a cor com palavras, ou pode simplesmente mostrar a ele uma foto dessa nuvem. Os pesquisadores perceberam que a melhor maneira de guiar a inteligência artificial era mostrar-lhe uma foto. Eles construíram um sistema onde, antes de o modelo olhar para uma nova imagem cerebral, é mostrado a ele um exemplo pequeno e cuidadosamente escolhido de um neurônio de uma biblioteca de imagens previamente anotadas. Este exemplo é colocado logo ao lado da nova imagem, atuando como uma dica visual. O modelo é então solicitado a encontrar todos os outros neurônios que se pareçam com o do exemplo.

Os pesquisadores testaram essa ideia em um enorme conjunto de dados públicos de registros cerebrais de camundongos. Eles descobriram que simplesmente mostrar ao modelo um único exemplo bem escolhido melhorou drasticamente sua capacidade de encontrar e delinear neurônios, mesmo quando o modelo nunca tinha visto aquele tipo específico de registro cerebral antes. A chave não era apenas mostrar qualquer exemplo, mas sim o exemplo certo. Eles desenvolveram uma forma inteligente de escolher o melhor exemplo de sua biblioteca, combinando o brilho e a textura do exemplo com a imagem específica que estava sendo analisada. Quando usaram este método, o desempenho do modelo saltou significamente, fechando a lacuna entre um modelo novo e não treinado e um que havia sido extensivamente retreinado para os dados específicos. De fato, usar um único exemplo perfeitamente correspondente foi mais eficaz do que mostrar vários exemplos diferentes de uma só vez. O estudo sugere que, para tarefas especializadas como a análise de exames cerebrais, o caminho mais eficiente pode não ser reconstruir a inteligência artificial do zero, mas simplesmente dar a ela o contexto visual correto no momento em que ela precisa tomar uma decisão.

Os resultados foram claros e consistentes em diferentes tipos de registros cerebrais. Quando o modelo era deixado para adivinhar por conta própria, muitas vezes perdia células tênues ou desenhava contornos desordenados. Mas quando os pesquisadores forneciam um único exemplo relevante de sua biblioteca, o modelo subitamente entendia o que procurar. Ele tornou-se muito melhor em encontrar as células fracas e escuras que geralmente passam despercebidas e em separar células que estão se tocando. Os pesquisadores também descobriram que a maneira específica como escolhiam o exemplo importava. Um exemplo aleatório ajudava, mas um exemplo escolhido para corresponder às condições específicas da nova imagem ajudava ainda mais. Eles treinaram um programa de computador pequeno e leve para atuar como um selecionador, aprendendo a prever qual exemplo seria mais útil para uma determinada imagem. Este selecionador permitiu que o sistema se adaptasse instantamente a novas condições sem nunca alterar as configurações principais do modelo de inteligência artificial principal.

Esta abordagem oferece uma alternativa convincente ao método padrão de retreinar a inteligência artificial. O retreinamento exige um poder computacional e tempo significativos, e frequentemente resulta em um modelo que é excelente para uma tarefa específica, mas esquece como realizar outras. O novo método mantém o modelo original congelado e inalterado, preservando seu conhecimento geral enquanto permite que ele se adapte a novas e difíceis tarefas através de simples pistas visuais. Os pesquisadores descobriram que este método recuperou uma grande parte dos ganhos de desempenho normalmente alcançados pelo retreinamento total, mas a uma fração do custo. Isso sugere que, em campos onde os dados são escassos e as condições variam amplamente, o futuro da inteligência artificial pode residir menos em ensinar fatos novos à máquina e mais em ensinar como olhar para o mundo através da lente certa. Ao injetar memória visual diretamente na entrada, os pesquisadores demonstraram que um modelo de fundação pode ser guiado para realizar tarefas de nível especialista em imagens biomédicas especializadas sem o pesado fardo da adaptação de parâmetros.

Resumo Técnico: Prompting Visual de Recuperação Aumentada (RAVP)

Declaração do Problema

A imagem de cálcio por dois fótons (2PCI) apresenta um desafio significativo para modelos de fundação devido à variabilidade substancial na aparência das imagens entre registros, condições experimentais e sujeitos animais. As principais dificuldades incluem a ampla gama de fluorescência neuronal (onde neurônios ativos aparecem como manchas brilhantes e os silenciosos são quase indistinguíveis do fundo), mudanças de domínio causadas por diferentes configurações de microscópios e profundidades corticais, e a escassez de anotações especializadas necessárias para o treinamento. Embora modelos de visão de fundação em larga escala, como a família Segment Anything Model (SAM), ofereçam capacidades de segmentação generalizáveis, seus mecanismos de prompting de poucos disparos (few-shot) não se transferem de forma confiável para 2PCI. Especificamente, definir conceitos via caixas delimitadoras (bounding boxes) dentro da imagem alvo exige anotação manual especializada e falha em capturar a total variabilidade de aparência do domínio alvo. Além disso, não está claro quais exemplos específicos são mais informativos para uma determinada imagem alvo.

Metodologia

O artigo propõe o Retrieval-Augmented Visual Prompting (RAVP), um framework projetado para guiar o SAM 3 durante a inferência através da injeção de memória visual externa diretamente no input do modelo, sem modificar os pesos ou a arquitetura do modelo.

Mecanismo Central

O RAVP emprega uma estratégia de composição de imagem com recuperação aumentada:

Construção da Biblioteca: Uma biblioteca externa anotada $L$ é construída a partir de uma divisão de dados retida (held-out split), contendo recortes de imagem centrados em neurônios anotados, suas máscaras de verdade fundamental (ground-truth) e valores de fluorescência média.
Composição de Imagem: Para cada tile alvo $T_p$ de uma projeção máxima de 2PCI, um composto de imagem $\tilde{I}_p$ é construído. O tile alvo é colocado no centro de uma tela (canvas), e uma borda é preenchida com recortes de exemplares recuperados de $L$ .
Prompting Visual: As caixas delimitadoras dos neurônios anotados na região da borda (os exemplares recuperados) servem como prompts de conceito para a cabeça de Promptable Concept Segmentation (PCS) do SAM 3. O modelo é incumbido de detectar e segmentar todas as instâncias que correspondam ao conceito definido pelo exemplar em toda a tela.
Restrição de Saída: As predições são restritas à região alvo original via um mapa de coordenadas inverso.

Estratégias de Seleção de Exemplares

Reconhecendo que nem todos os exemplares são igualmente informativos devido à variabilidade de fluorescência, os autores estudam diversas estratégias de seleção:

Aleatória (Random): Amostragem uniforme de exemplares da biblioteca.
Fluorescência Fixa (Fixed Fluorescence): Seleção de exemplares baseada em um valor de fluorescência alvo fixo (empiricamente definido como valores baixos para evitar o viés para estruturas de alto sinal).
Adaptativa à Imagem (Image-Adaptive): Seleção de exemplares cuja fluorescência média corresponde à intensidade média do tile alvo atual.
Preditor de Recall ( $\pi_\theta$ ): Um preditor leve treinado offline para estimar o recall que o SAM 3 alcançaria para um determinado par alvo-exemplar. O preditor utiliza características visuais extraídas por um backbone ResNet-18 congelado e é supervisionado pelos resultados reais de inferência do SAM 3 na divisão de treinamento. Na inferência, ele seleciona o exemplar que maximiza o recall previsto.

Detalhes de Implementação

Janela Deslizante (Sliding Window): Devido à capacidade de predição restrita do SAM 3, as imagens são processadas usando uma abordagem de janela deslizante com 50% de sobreposição, seguida de Supressão de Não-Máximo (NMS).
Configuração: Experimentos utilizam um único recorte de exemplar por tile, colocado aleatoriamente na borda superior ou esquerda, com o restante da borda preenchido com preenchimento (padding) preto.

Principais Contribuições

Framework RAVP: Uma estratégia de composição de imagem com recuperação aumentada que transforma uma biblioteca de exemplares externa em memória visual para o SAM 3, permitindo a adaptação em tempo de inferência sem atualizações de peso.
Análise Sistemática de Seleção: Um estudo comparativo de estratégias de seleção de exemplares, demonstrando que o pareamento de exemplares com o regime de fluorescência do alvo melhora o desempenho.
Preditor de Recall Leve: A introdução de $\pi_\theta$ , um modelo treinado para selecionar exemplares informativos no tempo de inferência sem exigir anotações de verdade fundamental para o alvo, utilizando os próprios resultados de inferência do SAM 3 como sinal de supervisão.
Avaliação Abrangente: Experimentos extensivos no Allen Brain Observatory (ABO) mostrando que a injeção de memória visual fortalece consistentemente o desempenho zero-shot, oferecendo uma alternativa competitiva à adaptação de parâmetros.

Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados Allen Brain Observatory, dividido em subconjuntos in-domain, out-of-domain (OOD) e STNeuroNet.

Zero-Shot vs. Adaptação: O SAM 3 zero-shot alcançou precisão modesta (AP50 ≈ 0.28), mas alto recall. O ajuste fino completo (full fine-tuning), o ajuste fino apenas do encoder e o LoRA melhoraram significativamente o desempenho (AP50 ≈ 0.68–0.69).
Desempenho do RAVP: No regime zero-shot, o RAVP superou significativamente o baseline.
- Mesmo a seleção aleatória melhorou o AP50 de 0.28 para 0.45.
- O Preditor de Recall alcançou os melhores resultados entre os métodos zero-shot, atingindo AP50 = 0.53 e uma média harmônica (H) de 0.62 no conjunto de teste in-domain.
- No split OOD, o RAVP melhorou a média harmônica de 0.20 (zero-shot) para aproximadamente 0.58–0.60, demonstrando robustez à mudança de domínio.
Comparação com Fine-Tuning: Embora o RAVP não tenha fechado totalmente a lacuna para os modelos com ajuste fino, ele recuperou uma grande fração dos ganhos de desempenho com um custo de adaptação significativamente menor (estimado em 42% do full fine-tuning e 55% da adaptação LoRA).
Estudos de Ablação:
- Contagem de Exemplares: Um único exemplar cuidadosamente selecionado ( $k=1$ ) mostrou-se mais eficaz do que múltiplos exemplares ( $k > 1$ ), que levaram à degradação do desempenho.
- Tamanho da Biblioteca: Aumentar o tamanho da biblioteca de 1 para 50 candidatos gerou a maioria dos ganhos, com retornos decrescentes além disso.
- Estratégia de Seleção: Sob forte mudança de domínio (OOD), a política de seleção específica importava menos do que a presença do próprio mecanismo de recuperação, embora o Preditor de Recall tenha geralmente performado melhor in-domain.

Significância e Alegações

O artigo posiciona a injeção de memória visual em tempo de inferência como uma alternativa simples e eficaz à adaptação de parâmetros para modelos de fundação em imagens biomédicas especializadas. Os autores afirmam que o RAVP permite a adaptação apenas através do design do input, aproveitando a interface nativa de Promptable Concept Segmentation do SAM 3.

O trabalho sugere que, em domínios onde corpora anotados são raros e a variabilidade de aparência é alta, injetar exemplares recuperados diretamente no plano da imagem pode melhorar substancialmente a detecção zero-shot e a segmentação de instâncias. Os autores observam que, embora o Preditor de Recall exija uma fase de treinamento offline usando resultados de inferência do SAM 3, seletores mais simples (como image-adaptive ou fixed fluorescence) evitam esse custo permanecendo competitivos. A abordagem é apresentada como uma alternativa flexível à adaptação baseada em pesos, com potencial aplicabilidade além de 2PCI para outros domínios biomédicos onde modelos de fundação têm dificuldade de generalização.