Resumo Técnico: GRASP – Adaptadores Residuais Guiados com Particionamento por Amostra

Declaração do Problema

Os transformers de correspondência de fluxo texto-para-imagem exibem degradação severa de desempenho em distribuições de cauda longa, particularmente em domínios como imagem médica, onde patologias raras dominam cenários do mundo real. Embora os modelos se saiam bem em classes frequentes de "cabeça", eles sofrem colapso de modo em classes de "cauda", gerando imagens com baixa fidelidade e diversidade limitada. Os autores identificam a causa raiz como uma patologia em nível de otimização: durante o ajuste fino, as atualizações de gradiente para classes de cabeça e cauda são incompatíveis tanto em norma quanto em direção. Esses gradientes se anulam destrutivamente no nível dos parâmetros, fazendo com que o modelo priorize classes frequentes e colapse a representação das raras. Intervenções existentes, como estratégias de amostragem post-hoc ou modificações da função de perda durante o treinamento, falham em abordar esse desalinhamento específico de gradientes, frequentemente deixando a distribuição subjacente inalterada ou modificando o objetivo generativo de maneiras que não visam diretamente a falha de otimização.

Metodologia

O artigo propõe o GRASP (Adaptadores Residuais Guiados com Particionamento por Amostra), uma intervenção arquitetônica não invasiva projetada para melhorar o alinhamento de gradientes sem alterar o objetivo de correspondência de fluxo ou o processo de amostragem.

1. Particionamento por Amostra via Condicionamento

Em vez de aprender uma rede de gate (o que arrisca ser dominado por gradientes de classes de cabeça), o GRASP emprega uma partição estática e determinística do espaço de condicionamento.

• Base Teórica: Na correspondência de fluxo condicional, os valores de condição indexam conjuntos distintos de caminhos de probabilidade. Os autores argumentam que particionar ao longo do vetor de condição é a fatoração estruturalmente correta para servir como proxy para o alinhamento de gradientes.
• Implementação: Uma função de roteamento estática $\pi: \mathcal{C} \to \{1, \dots, K\}$ atribui cada amostra a um dos $K$ especialistas com base em sua condição.
  • Contexto Médico (MIMIC-CXR-LT): As amostras são particionadas em grupos semânticos (Cabeça, Média, Cauda) e divididas ainda mais por um prior específico do domínio (Saudável vs. Patológico), resultando em quatro especialistas.
  • Contexto Geral (ImageNet-LT): A particionamento é alcançada via agrupamento de embeddings de texto (bissecção K-means) no codificador de texto congelado, sem priors específicos do domínio.
• Robustez: O método depende de priores "grossos" (por exemplo, bins de frequência ou agrupamento padrão) em vez de separação semântica perfeita. O objetivo é garantir que, em média, amostras dentro de um especialista compartilhem dinâmicas de gradiente mais homogêneas do que aquelas entre especialistas.

2. Adaptadores Residuais Guiados

Uma vez que as amostras são roteadas, a arquitetura utiliza adaptadores residuais específicos de grupo inseridos nas camadas de alimentação frontal do backbone pré-treinado congelado (Flux).

• Mecanismo: Para uma amostra $x_i$ roteada para o especialista $k = \pi(c_i)$, a saída da camada é $h_{l+1} = F_l(h_l) + A_{k,l}(h_l)$, onde $F_l$ é a transformação base compartilhada e $A_{k,l}$ é o adaptador específico do especialista.
• Isolamento de Gradiente: Parâmetros dentro do adaptador $k$ são atualizados apenas por amostras atribuídas a esse especialista. Isso isola gradientes específicos de grupo, prevenindo interferência destrutiva de atualizações de classes de cabeça, enquanto permite que o backbone compartilhado acumule estrutura transferível.
• Design: Os adaptadores são transformações leves de duas camadas. Diferentemente do LoRA, eles não impõem redução estrita de dimensionalidade, permitindo adaptadores mais largos ($d' \approx d$ ou $d' > d$) para estabilizar o ajuste fino através de grandes lacunas de domínio.

Principais Contribuições

1. Transferência de Consistência de Gradiente para Correspondência de Fluxo: Os autores adaptam o objetivo de consistência de gradiente da modelagem de linguagem de cauda longa (Dong et al.) para correspondência de fluxo texto-para-imagem. Crucialmente, eles substituem o mecanismo de gate aprendido por uma partição determinística e impulsionada por condicionamento. Eles argumentam que, na correspondência de fluxo condicional, o condicionamento indexa naturalmente a geometria do caminho de probabilidade, tornando a particionamento estático uma fatoração estruturalmente correta em vez de uma heurística genérica.
2. Design Não Invasivo e Componível: O GRASP deixa a função de perda de correspondência de fluxo e o amostrador intocados, modificando apenas quais parâmetros absorvem quais gradientes. Isso permite que seja composto com intervenções ortogonais. Os autores demonstram que combinar o GRASP com amostragem de minoria auto-guiada no tempo de inferência produz resultados superiores comparado a qualquer método isolado.
3. Validação Empírica do Condicionamento como Proxy de Gradiente: Através de estudos de ablação e análise de gradiente, o artigo valida que a homogeneidade de condicionamento correlaciona-se fortemente com a consistência de gradiente por especialista, confirmando que partições estáticas aproximam efetivamente o agrupamento ideal de gradientes mesmo com priores ruidosos.

Resultados

O método foi avaliado em MIMIC-CXR-LT (radiografias de tórax médicas), NIH-CXR-LT (classificação a jusante) e ImageNet-LT (geração geral de cauda longa).

• Qualidade e Diversidade de Geração de Imagens:
  • No MIMIC-CXR-LT, o GRASP reduziu o FID geral em até 80% em comparação com o ajuste fino completo e aumentou a cobertura de classes de cauda em até 44%.
  • Superou baselines de última geração, incluindo ajuste fino completo, adaptadores genéricos e variantes de Mistura de Especialistas (MoE) com roteamento aprendido como o MoCLE.
  • A análise qualitativa mostrou que o GRASP recuperou características específicas de classe para patologias raras (por exemplo, Pneumoperitônio) que as baselines suavizaram ou colapsaram.
• Classificação a Jusante:
  • Quando imagens sintéticas geradas pelo GRASP foram usadas para treinar um classificador DenseNet-121 no NIH-CXR-LT, o modelo alcançou uma pontuação F1 macro igual à do treinamento com dados reais.
  • Crucialmente, o GRASP permitiu pontuações F1 não nulas em 9 de 13 classes, enquanto o ajuste fino completo alcançou isso apenas em 3 classes.
• Generalização: Os resultados no ImageNet-LT confirmaram que o mecanismo não está ligado a vieses indutivos médicos e generaliza para tarefas amplas de geração de cauda longa.

Significado e Alegações

O artigo posiciona o GRASP como uma ferramenta controlada de aumento e análise, afirmando explicitamente que imagens sintéticas não são um substituto para coortes clinicamente fundamentadas ou revisão por especialistas. Os autores enfatizam que dados sintéticos podem preservar ou amplificar vieses se usados sem proveniência e validação.

O principal significado alegado é que o roteamento estático é a escolha padrão para geração texto-para-imagem de cauda longa sempre que houver priores mesmo grosseiros sobre o condicionamento (um caso comum em imagem médica). Diferentemente do gate aprendido, que falha em regimes de cauda longa extrema devido ao domínio de classes de cabeça, a particionamento estática garante que cada amostra de cauda atualize seu especialista atribuído. Isso fornece um mecanismo estável, eficiente e não invasivo para mitigar patologias em nível de otimização sem modificar o objetivo generativo central.