Resumo Técnico: Além das Pontuações Alvo: Medindo o Desvio Fora do Alvo em Edição de Imagens Médicas Baseada em Difusão

1. Definição do Problema

Modelos de difusão têm demonstrado a capacidade de editar imagens médicas de formas visualmente plausíveis. No entanto, as métricas de avaliação padrão para esses modelos são insuficientes para aplicações clínicas. As abordagens atuais tipicamente avaliam o sucesso com base em dois critérios: realismo perceptual (ex: FID) ou a maximização de uma pontuação de classificador alvo única (ex: aumentar a probabilidade de uma doença específica).

O artigo argumenta que, na imagem clínica, achados patológicos estão estatisticamente emaranhados com comorbidades, efeitos de aquisição e viés de seleção. Consequentemente, um modelo pode parecer bem-sucedido sob métricas padrão ao explorar essas correlações — um fenômeno que os autores denominam "reward hacking" (exploração de recompensa). Neste modo de falha, um editor aumenta a pontuação da doença alvo não isolando a patologia pretendida, mas alterando inadvertidamente achados não-alvo correlacionados (ex: aumentando as pontuações de derrame pleural ao alterar simultaneamente a opacidade parenquimatosa ou a silhueta cardiomediastinal).

O desafio central é identificado não como realismo, mas como identificabilidade semântica: a capacidade de manipular um eixo clínico específico mantendo outros atributos clinicamente relevantes invariantes. O artigo postula que os benchmarks existentes falham em distinguir entre controle semântico genuíno e comportamento de seguimento de distribuição que explora correlações de dados.

2. Metodologia: Benchmark CIB-Med-1 e Orientação Restrita

A. O Benchmark CIB-Med-1

Os autores introduzem o CIB-Med-1 (Controlled Incremental Biomarker editing in chest radiography), um benchmark de nível de trajetória projetado para medir o controle semântico. Diferente das avaliações de ponto final, o CIB-Med-1 avalia toda a trajetória de edição $\{x_t\}_{t=0}^T$.

Componentes Principais:

• Âncoras: Radiografias de tórax (CXR) reais de um conjunto de dados retido, selecionadas para possuírem pontuações alvo não saturadas.
• Coordenadas Semânticas: Um classificador radiológico congelado e fora do treinamento ($F$) mapeia as imagens para pontuações multirrótulo.
  • Coordenada Alvo ($p_{eff}$): Uma pontuação de progressão monotônica calibrada para derrame pleural, derivada via regressão isotônica sobre o logit do classificador.
  • Conjunto Fora do Alvo ($K$): Um conjunto curado de 14 achados não-alvo (ex: Atelectasia, Cardiomegalia, Pneumotórax, Artefatos) que devem permanecer estáveis.
• Métricas de Avaliação:
  1. Progressão Monotônica do Alvo: Medida pela correlação de postos de Spearman ($\rho_{trend}$) entre o índice do passo e a pontuação alvo, e uma Taxa de Inversão (frequência de reversões de pontuação).
  2. Desvio Semântico Fora do Alvo: Quantificado como o desvio absoluto médio da trajetória das pontuações fora do alvo em relação à âncora. Tanto o desvio mediano ($D_{off}$) quanto o desvio do percentil 90 ($D^{(90)}_{off}$) são relatados para capturar mudanças colaterais típicas e extremas.
  3. Análise de Correlação: A magnitude do desvio é explicitamente correlacionada com as associações empíricas entre os rótulos alvo e fora do alvo na distribuição da âncora para distinguir comorbidade fisiológica de atalhos espúrios.

B. Linha de Base de Orientação de Difusão Restrita

Para abordar o problema de reward hacking, os autores propõem um método de orientação de difusão restrita. Em vez de otimizar apenas pelo logit alvo $\ell_{eff}(x)$, o método resolve um problema de otimização restrita: maximizar a progressão do alvo sujeita a uma mudança limitada fora do alvo.

O campo de orientação é implementado como:
$$\nabla_x G(x) = \nabla_x \ell_{eff}(x) - \lambda \sum_{k \in K} w_k(x_0) \cdot \text{sgn}(v_k(x) - v_k(x_0)) \nabla_x \ell_k(x)$$

• Mecanismo: Um termo de barreira assinado penaliza o movimento para longe dos valores fora do alvo da âncora.
• Pesos Adaptativos ($w_k$): Os pesos dependem da âncora, aumentando o peso de eixos fora do alvo que já estão presentes na imagem ou que exibem alta variabilidade entre âncoras similares, priorizando assim a preservação do perfil semântico da âncora.
• Objetivo: Isso força o editor a buscar direções no espaço da imagem que afetem a coordenada alvo sem induzir mudanças semânticas colaterais ilimitadas.

3. Principais Contribuições

1. Benchmark CIB-Med-1: Um novo framework de avaliação que mede explicitamente o desvio fora do alvo através de 14 eixos de incômodo clinicamente motivados, tornando mensuráveis as falhas de identificabilidade semântica.
2. Identificação de Reward Hacking: Demonstração empírica de que editores de difusão podem alcançar altas pontuações alvo ao induzir mudanças correlacionadas em achados parenquimatosos, cardiomediastinais e relacionados a artefatos, em vez de isolar a patologia.
3. Linha de Base de Orientação Restrita: Um método que otimiza a progressão do alvo sujeita a uma mudança limitada fora do alvo, servindo como uma linha de base principista para mitigar o reward hacking.
4. Análise Diagnóstica: Caracterização do desvio fora do alvo como um fenômeno estruturado que rastreia associações empíricas entre os rótulos alvo e fora do alvo, sugerindo que a instabilidade semântica é uma manifestação de emaranhamento representacional aprendido.

4. Resultados Experimentais

Experimentos foram conduzidos em 240 radiografias âncoras usando um backbone Stable Diffusion v2.1 ajustado com CheXpert.

• Progressão do Alvo vs. Desvio: A orientação de difusão não restrita alcançou uma forte progressão do alvo ($\rho_{trend} = 0,90$), mas exibiu um alto desvio mediano fora do alvo ($D_{off} = 0,46$) e um desvio extremo no percentil 90 ($D^{(90)}_{off} = 0,98$).
• Desempenho Restrito: O editor restrito manteve uma progressão de alvo comparável ($\rho_{trend} = 0,88$) enquanto reduziu significativamente o desvio mediano para 0,20 e o desvio do percentil 90 para 0,33.
• Validação Humana: Em um estudo cego com estagiários de radiologia, o editor restrito mostrou maior concordância com as ordenações de progressão pretendidas (Kendall $\tau = 0,61$) comparado à difusão não restrita ($\tau = 0,47$) e ao InstructPix2Pix ($\tau = 0,29$).
• Estudos de Ablação: A remoção das restrições em achados específicos fora do alvo (ex: Edema, Opacidade Pulmonar) levou aos maiores aumentos no desvio, confirmando que o desvio é impulsionado por eixos semânticos específicos e fortemente correlacionados.
• Estrutura do Desvio: A magnitude do desvio foi encontrada como positivamente correlacionada com a associação empírica entre os rótulos alvo e fora do alvo nos dados de treinamento, confirmando que o desvio reflete estruturas de acoplamento aprendidas (uma mistura de fisiologia e viés de seleção).

5. Significância e Alegações

O artigo argumenta que a edição de imagens médicas deve ser avaliada como controle semântico de nível de trajetória, e não como maximização de pontuação de ponto final.

• Reenquadramento do Problema: Os autores alegam que o desafio central é a identificabilidade, não o realismo. Otimizar apenas para a melhoria do alvo permite que os modelos explorem correlações de dados (reward hacking) em vez de manipular o fator pretendido.
• Utilidade Diagnóstica: O benchmark e a orientação restrita servem como ferramentas diagnósticas. Quando um editor restrito estagna ou falha em progredir sem induzir desvio, isso revela um limite genuíno de manipulabilidade independente na representação aprendida, em vez de uma falha do algoritmo de otimização.
• Sem Alegações Causais: Os autores declaram explicitamente que não reivindicam o desentranhamento causal a partir de dados observacionais. O objetivo não é simular contrafactuais biologicamente fiéis, mas tornar explícito o que os métodos de edição direcional estão otimizando e fornecer ferramentas para avaliar se o progresso é alcançado de forma independente ou via atalhos.
• Implicação Mais Ampla: O trabalho sugere que, em domínios de alto risco, modelos "melhores" (maiores ou de maior fidelidade) são insuficientes se o objetivo de avaliação estiver desalinhado. O progresso exige a definição de objetivos alinhados ao uso que tornem o desvio mensurável e o desenvolvimento de métodos que otimizem esses objetivos sem depender de atalhos.

O artigo conclui que o CIB-Med-1 transforma o desvio fora do alvo de um modo de falha oculto em um sinal diagnóstico, permitindo uma avaliação mais rigorosa de quando e por que a manipulação semântica independente tem sucesso ou falha nos modelos de difusão clínica.