PromptGate Client Adaptive Vision Language Gating for Open Set Federated Active Learning

O artigo propõe o PromptGate, um framework adaptativo de Aprendizado Federado Ativo que utiliza prompts aprendíveis para purificar pools de dados não rotulados de ruído fora de distribuição em ambientes médicos heterogêneos, garantindo alta precisão na seleção de amostras sem comprometer a privacidade dos dados.

O essencial

Imagine que você é o diretor de uma rede de hospitais espalhados por todo o país. O seu objetivo é treinar uma Inteligência Artificial (IA) para ajudar os médicos a diagnosticar doenças na pele ou no peito, mas você enfrenta dois grandes problemas:

1. Privacidade: Você não pode enviar as fotos dos pacientes para um servidor central (por questões de leis e privacidade). Cada hospital guarda seus dados no próprio local.
2. Caos nos Arquivos: Os arquivos dos hospitais estão cheios de "lixo". Além das fotos das doenças que você quer estudar, há fotos de pele saudável, fotos borradas, fotos de exames errados e até fotos de outras partes do corpo.

Se você pedir para a IA escolher as melhores fotos para um especialista humano analisar (o que chamamos de Active Learning), ela vai se confundir. Ela vai gastar o tempo precioso do especialista analisando fotos de "lixo" (ruídos) em vez de focar nas doenças reais.

É aqui que entra o PromptGate, a solução proposta pelos pesquisadores da Universidade de Bonn.

A Analogia do "Porteiro Inteligente"

Pense no PromptGate como um porteiro superinteligente e adaptável que fica na entrada de cada hospital.

• O Problema Antigo (Sem PromptGate): Imagine que o porteiro é um funcionário novo, estático e um pouco desatento. Ele vê uma foto e diz: "Isso parece doença, deixe passar". Mas, como ele não conhece as particularidades de cada hospital (alguns têm máquinas de raio-x diferentes, outros usam tintas de contraste diferentes), ele deixa passar muita "sujeira" (fotos ruins) e perde tempo.
• A Solução (PromptGate): O PromptGate é um porteiro que aprende com a experiência local e compartilha sabedoria global sem nunca mostrar as fotos dos pacientes.

Como funciona a mágica? (A Metáfora dos "Adereços" Mágicos)

O sistema usa uma IA gigante e poderosa chamada BiomedCLIP (que já sabe muito sobre medicina), mas ela está "congelada" (não pode ser reprogramada do zero, pois é muito pesada).

O segredo do PromptGate são os "Prompts" (adereços ou instruções). Imagine que a IA é um ator genial, mas que precisa de um roteiro específico para cada papel.

1. Adereços Globais (O Roteiro Comum): Todos os hospitais compartilham um conjunto de instruções básicas sobre o que é uma "doença" e o que é "lixo". Isso é feito de forma segura, sem enviar dados, apenas enviando as "instruções" (vetores matemáticos leves) para um servidor central que as mistura e devolve a todos.
2. Adereços Locais (O Sotaque do Bairro): Cada hospital tem seu próprio "sotaque". O Hospital A tem muitas fotos borradas de um tipo específico; o Hospital B tem fotos com artefatos de um outro tipo. O PromptGate cria instruções privadas para cada hospital, ajustando o porteiro para reconhecer o "lixo" específico daquela região.

O Processo Passo a Passo

1. A Triagem (O Porteiro): Antes de qualquer especialista humano olhar para uma foto, o PromptGate (o porteiro) olha. Ele usa essas instruções adaptadas para dizer: "Essa foto é claramente uma doença relevante (In-Distribution)" ou "Essa é apenas sujeira/artefato (Out-of-Distribution)".
2. A Limpeza: Ele joga fora as fotos de lixo. Só as fotos "prováveis de doença" passam para a próxima etapa.
3. A Escolha: Agora, com uma pilha limpa de fotos, o sistema de Active Learning escolhe as mais importantes para o médico analisar.
4. O Aprendizado: Quando o médico analisa e confirma se é doença ou não, essa informação volta para o sistema. O PromptGate usa esse feedback para afinar suas instruções (os adereços), ficando ainda mais inteligente para a próxima rodada.

Por que isso é revolucionário?

• Eficiência: Em testes, métodos antigos deixavam passar cerca de 50% de "lixo" nas análises. O PromptGate conseguiu manter a pureza acima de 95%. Ou seja, o médico humano quase nunca perde tempo olhando para fotos ruins.
• Privacidade: Nenhum paciente teve sua foto enviada para fora do hospital. Apenas as "regras de como olhar" foram compartilhadas.
• Adaptabilidade: Se um hospital começa a usar uma máquina nova que gera um tipo de ruído diferente, o PromptGate local aprende a filtrar isso rapidamente, sem quebrar o sistema de todo o país.

Resumo em uma frase

O PromptGate é como um filtro de café adaptável que, em vez de deixar passar grãos estragados (imagens ruins) e desperdiçar o tempo do barista (médico), aprende a reconhecer exatamente o que é "café bom" e o que é "sujeira" em cada cafeteria local, garantindo que apenas o melhor seja servido, tudo isso sem que as cafeterias precisem mostrar seus grãos uns aos outros.

Isso permite que a medicina avance mais rápido, com menos custo e respeitando a privacidade dos pacientes.

Resumo técnico

1. O Problema

A implementação de Inteligência Artificial (IA) médica em instituições com recursos limitados exige pipelines de aprendizado eficientes em dados que respeitem a privacidade do paciente. Embora o Aprendizado Federado (FL) permita a colaboração sem centralizar dados, os repositórios clínicos reais são inerentemente abertos (open-set). Eles contêm uma mistura heterogênea de amostras de distribuição (ID - in-distribution) e amostras fora de distribuição (OOD - out-of-distribution), como artefatos de imagem, modalidades erradas ou achados benignos não relacionados.

O Aprendizado Ativo (AL) padrão, que seleciona amostras para anotação, falha neste cenário: ele tende a interpretar o ruído OOD como amostras informativas, desperdiçando orçamentos de anotação escassos em dados irrelevantes. Métodos existentes de AL aberto (OAL) geralmente assumem um conjunto de dados único e centralizado ou tratam o OOD apenas geometricamente no espaço de características, ignorando os priores semânticos ricos fornecidos por Modelos Visão-Linguagem (VLMs).

2. Metodologia: PromptGate

O artigo propõe o PromptGate, um módulo de filtragem dinâmico e adaptável ao cliente que atua como um "porteiro" (gatekeeper) baseado em VLM para o cenário de Aprendizado Ativo Federado em Conjuntos Abertos (OS-FAL).

• Arquitetura Base: Utiliza um backbone de VLM congelado (BiomedCLIP) com codificadores de imagem e texto fixos.
• Aprendizado de Prompt (Prompt Learning): Em vez de treinar o modelo inteiro, o PromptGate otimiza vetores de contexto contínuos (prompts) no espaço de embeddings de texto.
• Decomposição de Prompts (Global vs. Local):
  • Tokens Globais ($p^g_c$): Compartilhados entre todos os clientes via agregação FedAvg. Capturam um prior semântico compartilhado para classes de interesse (ID) e não-alvo (OOD).
  • Tokens Locais ($p^k_c$): Privados de cada cliente ($k$). Adaptam o modelo à heterogeneidade específica do local (ex: diferentes scanners, protocolos de coloração, tipos de artefatos).
  • O embedding de texto final é a concatenação $[p^g_c; p^k_c]$.
• Mecanismo de Portão (Gating):
  1. O VLM gera pseudo-rótulos para o conjunto não rotulado de cada cliente.
  2. Amostras com alta probabilidade de pertencerem a classes ID são filtradas para um Pool de Candidatos.
  3. Amostras OOD são descartadas (ou enviadas para um pool de exploração).
  4. Qualquer estratégia de AL downstream (ex: Entropia, Aleatório) seleciona amostras apenas do Pool de Candidatos filtrado.
• Atualização Federada: Após a anotação por um oráculo clínico, os prompts globais e locais são atualizados usando uma abordagem estilo CoOp (Context Optimization), refinando progressivamente a fronteira ID/OOD sem compartilhar dados brutos.

3. Contribuições Principais

1. Primeiro Módulo de Prompt Aprendível para OS-FAL: Introduz o PromptGate, o primeiro framework que utiliza prompts aprendíveis em VLMs para filtragem federada em cenários de conjunto aberto.
2. Mecanismo de Portão Adaptável: Propõe uma decomposição de prompts (global/local) que permite ao VLM adaptar-se a comportamentos OOD heterogêneos entre diferentes instituições, superando a rigidez de prompts estáticos.
3. Plug-and-Play: O módulo atua como um pré-seletor independente da estratégia de aquisição, melhorando a pureza das consultas para qualquer algoritmo de AL existente.
4. Validação Robusta: Demonstra melhorias significativas em benchmarks médicos federados (dermatologia e imagem mamária), mantendo alta pureza de ID e recall de OOD.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks federados: FedISIC (lesões de pele) e FedEMBED (densidade mamária), simulando cenários com até 50% de amostras OOD.

• Pureza da Consulta (Query Purity):
  • O método Coldstart (sem filtragem) e a linha de base estática (Baseline) tiveram pureza média de ID de ~60% e ~74% respectivamente no FedISIC.
  • O PromptGate manteve uma pureza >95% (atingindo até 98.9% com estratégia Entropy) em todos os cenários, efetivamente eliminando a maioria das amostras OOD antes da anotação.
• Desempenho de Classificação (BMA):
  • O PromptGate alcançou ganhos consistentes de 1-3% na Acurácia Multiclasse Balanceada (BMA) em comparação com métodos sem filtragem.
  • No FedISIC, a configuração Mixed (Global + Local) combinada com a estratégia Entropy alcançou 66.1% de BMA, superando significativamente o Coldstart (60.2%).
• Recall de OOD: O sistema demonstrou um recall de OOD superior a 98%, garantindo que artefatos e dados irrelevantes sejam descartados corretamente.
• Comparação com Prompts Estáticos: Prompts estáticos (como no OpenPath*) degradam-se para ~50% de pureza em cenários federados heterogêneos, enquanto o PromptGate dinâmico supera essa barreira, provando que a adaptação local é crucial.

5. Significado e Conclusão

O PromptGate resolve o paradoxo de como aplicar aprendizado ativo em ambientes federados com dados "sujos" (não purificados). Ao transformar o VLM em um porteiro dinâmico, o método:

• Protege o Orçamento de Anotação: Evita que patologistas gastem tempo rotulando artefatos ou imagens fora de distribuição.
• Preserva a Privacidade: Não requer a centralização de dados ou o compartilhamento de vetores de características brutos, apenas a atualização de pequenos vetores de prompt (cerca de 12K parâmetros por cliente).
• É Prático e Leve: Com um backbone congelado e apenas prompts aprendíveis, o custo computacional é mínimo, permitindo a implantação em redes hospitalares heterogêneas sem engenharia específica para cada local.

Em suma, o trabalho demonstra que a combinação de Aprendizado Federado, Aprendizado Ativo e Prompts Adaptáveis em VLMs é uma via viável e superior para construir sistemas de IA médica robustos, eficientes e prontos para o mundo real, onde a qualidade e a distribuição dos dados variam drasticamente entre instituições.