🤖 machine learning

Conformal Risk Minimization for Semi-Supervised Domain Adaptation via Optimal Transport

Este artigo propõe uma estrutura de ponta a ponta para Adaptação de Domínio Semissupervisionada que integra a Minimização de Risco Conformal com o Transporte Ótimo para gerar pseudorótulos, permitindo o treinamento de modelos que produzem conjuntos de predição compactos e de validade de cobertura, apesar de dados rotulados limitados no alvo.

Autores originais: Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo de alto risco do diagnóstico médico, um modelo de aprendizado de máquina é frequentemente treinado com dados de um grupo de pacientes, mas deve ser usado para diagnosticar um grupo diferente. Essa mudança na população cria uma lacuna oculta: o modelo pode reconhecer padrões que nunca viu antes, levando a erros que podem prejudicar um paciente. Para construir confiança, os médicos precisam de mais do que apenas um palpite único; eles precisam saber o quão seguro o modelo está. Um método chamado previsão conformal oferece uma solução ao fornecer uma lista de possíveis diagnósticos em vez de apenas um. Essa lista tem a garantia de conter a resposta correta uma porcentagem específica das vezes, oferecendo aos clínicos uma rede de segurança. No entanto, um grande problema surge quando essas listas são geradas após o modelo já ter sido treinado. Como o processo de treinamento não considerou como essas listas seriam formadas, as listas resultantes são frequentemente grandes demais para serem úteis, contendo tantas possibilidades que um médico não consegue tomar uma decisão.

Pesquisadores da Universidade Duke desenvolveram uma nova abordagem para corrigir esse problema, especificamente para situações onde os dados rotulados para o novo grupo de pacientes são escassos. Eles criaram um sistema que ensina o modelo a pensar sobre o tamanho de suas futuras listas de diagnóstico enquanto ele ainda está aprendendo. Ao combinar uma técnica que alinha diferentes populações de pacientes com um método que otimiza para listas menores e mais precisas, eles construíram um modelo que produz conjuntos compactos e confiáveis de potenciais diagnósticos. O trabalho deles sugere que, ao planejar a incerteza durante a fase de treinamento, em vez de adicioná-la posteriormente, a IA médica pode se tornar tanto mais precisa quanto mais prática para o uso no mundo real.

O desafio central que a equipe abordou é conhecido como adaptação de domínio semissupervisionada. Imagine um médico que estudou milhares de imagens de pele de um hospital, mas deve agora diagnosticar pacientes em um hospital diferente, onde apenas algumas poucas imagens estão rotuladas. Os pacientes do novo hospital podem ter diferentes tons de pele, condições de iluminação ou equipamentos, criando um "desvio de distribuição" que confunde o modelo. Os métodos tradicionais tentam preencher essa lacuna ensinando o modelo a ignorar as diferenças entre os dois hospitais e focar apenas nas características que importam para o diagnóstico. No entanto, esses métodos visam apenas a resposta única mais provável. Eles não se preocupam com o tamanho da rede de segurança que o modelo eventualmente fornecerá.

Quando pesquisadores aplicam a previsão conformal a esses modelos pré-treinados como uma etapa final, a rede de segurança torna-se frequentemente uma rede tão larga que captura tudo. Isso acontece porque o modelo nunca foi treinado para minimizar o número de opções que oferece. A equipe de Duke percebeu que, para obter uma lista útil, o modelo deve ser treinado com a lista em mente desde o início. Eles propuseram um framework chamado CP-JDOT, que integra o objetivo de criar listas pequenas e eficientes diretamente no processo de treinamento. Isso permite que o modelo aprenda uma representção dos dados que leva naturalmente a previsões mais apertadas e confiantes.

Para fazer isso funcionar com muito poucos exemplos rotulados do novo hospital, os pesquisadores usaram uma ferramenta matemática chamada transporte ótimo. Pense nesta ferramenta como uma forma de combinar cada paciente não rotulado do novo hospital com um paciente semelhante do antigo, efetivamente pegando emprestado o diagnóstico do antigo paciente para guiar o novo. Isso cria um conjunto de "pseudorotulagens" que atuam como uma ponte, permitindo que o modelo aprenda com os dados abundantes do hospital de origem enquanto se adapta às necessidades específicas do hospital de destino. O sistema então usa o pequeno número de exemplos rotulados reais do hospital de destino para definir um limite para o quão grandes as listas de previsão devem ser.

Os pesquisadores testaram seu método em dois cenários diferentes. Primeiro, eles usaram um benchmark padrão de reconhecimento de objetos envolvendo imagens de quatro domínios diferentes: arte, clipart, produtos e fotos do mundo real. Eles simularam a condição difícil onde apenas um ou três exemplos rotulados por categoria estavam disponíveis para o domínio de destino. Nesses testes, seu método produziu consistentemente listas de predição menores do que os melhores métodos existentes, reduzindo o número médio de opções em cerca ou em dez por cento. Essa melhoria foi significativa mesmo nos casos em que a transferência entre domínios era difícil, sugerindo que a abordagem é robusta.

Eles também aplicaram o método a uma tarefa médica mais crítica: classificar lesões de pele. Usando dados do conjunto de dados HAM10000 como a fonte, eles testaram o modelo em cinco conjuntos de dados de destino diferentes, representando várias condições de imagem de pele. Aqui, os resultados foram ainda mais impressionantes. O novo método reduziu o tamanho médio das listas de predição em até doze por cento em comparação com abordagens anteriores. Isso significa que, para um médico olhando para uma lesão de pele, o modelo ofereceria uma lista muito mais curta de condições potenciais, tornando o diagnóstico mais rápido e acionável, ao mesmo tempo em que mantém a garantia rigorosa de que o diagnóstico correto está incluído na lista.

Além de simplesmente tornar as listas menores, os pesquisadores mostraram que seu framework pode ser ajustado para respeitar regras médicas específicas. No diagnóstico de câncer de pele, é perigoso ter uma lista que inclua possibilidades benignas e malignas simultaneamente, pois isso cria um sinal confuso para o médico. A equipe modificou sua perda de treinamento para penalizar tais listas contraditórias. Quando fizeram isso, o número de listas mistas e confusas caiu drasticamente, em sessenta a setenta e cinco por cento através dos diferentes conjuntos de dados. A troca foi um aumento muito leve no tamanho geral das listas, mas o resultado foi um conjunto de previsões que não eram apenas estatisticamente válidas, mas também semanticamente coerentes e clinicamente úteis.

As descobertas sugerem que a maneira tradicional de treinar modelos de IA — otimizando para uma única resposta correta e depois tentando corrigir a incerteza depois — é fundamentalmente limitada. Ao integrar o objetivo de quantificação de incerteza eficiente diretamente no processo de aprendizado, o modelo aprende a produzir saídas que são inerentemente melhores adequadas para a tomada de decisões de alto risco. Os pesquisadores demonstraram que é possível treinar um modelo que esteja ciente de suas próprias limitações e da estrutura de suas futuras previsões, mesmo quando os dados são escassos. Esta abordagem oferece um caminho promissor para uma IA médica que não é apenas precisa, mas também confiável e alinhada com as necessidades práticas dos clínicos.

Resumo Técnico: Minimização de Risco Conformal para Adaptação de Domínio Semissupervisionada via Transporte Ótimo

1. Definição do Problema

Em aplicações clínicas de alto risco, modelos de aprendizado de máquina frequentemente enfrentam uma mudança de distribuição ao serem treinados em uma população de pacientes de origem e implantados em uma população de destino. Embora a Adaptação de Domínio Semissupervisionada (SSDA) aborde isso aproveitando dados rotulados de origem e dados rotulados limitados de destino para melhorar a precisão da predição pontual, os métodos de SSDA existentes falham em fornecer uma quantificação de incerteza fundamentada.

A Predição Conformal (CP) convencional oferece garantias de cobertura independentes de distribuição, mas é tipicamente aplicada post-hoc a modelos pré-treinados. Esta abordagem frequentemente resulta em conjuntos de predição excessivamente grandes porque o modelo subjacente foi otimizado para precisão pontual, não para a geometria dos escores de não conformidade que dita o tamanho do conjunto. A Minimização de Risco Conformal (CRM) integra a otimização do tamanho do conjunto diretamente no treinamento, mas tradicionalmente requer grandes conjuntos de dados rotulados para computar limiares de não conformidade durante o treinamento — um recurso escasso no regime de SSDA.

O problema central abordado é: Como podemos treinar otimamente preditores conformais para tarefas de adaptação de domínio semissupervisionada onde os dados rotulados no domínio de destino são limitados?

2. Metodologia: CP-JDOT

Os autores propõem o CP-JDOT, um framework end-to-end que integra a Minimização de Risco Conformal em um framework de Adaptação de Domínio Conjunta (JDOT) usando Transporte Ótimo (OT). O método é projetado para otimizar um modelo preditivo $f_\theta$ (composto por uma função de embedding $g$ e um classificador $h$ ) para produzir conjuntos de predição compactos e com validade de cobertura no domínio de destino.

2.1 Componentes Principais

O objetivo de treinamento minimiza uma função de perda composta:
$\min_{\theta} L_{cls}(f_\theta) + \lambda_1 L_{DA}(f_\theta) + \lambda_2 L_c(f_\theta)$
Onde:

$L_{cls}$ : Perda de classificação (adaptada para aprendizado cross-domain).
$L_{DA}$ : Perda de alinhamento de domínio.
$L_c$ : Perda de alinhamento conformal (penalizando grandes conjuntos de predição).

2.2 O Ciclo de Treinamento

O algoritmo opera de maneira iterativa estocástica usando dois minibatches: um do conjunto rotulado de origem ( $S$ ) e um do conjunto não rotulado de destino ( $T_u$ ).

Estimativa de Limiar: Em cada iteração, um quantil $(1-\alpha)$ diferenciável $\tau$ dos escores de não conformidade é computado usando o pequeno conjunto rotulado de destino ( $T_l$ ). Este $\tau$ serve como o limiar conformal.
Acoplamento de Transporte Ótimo: O framework utiliza a Adaptação de Domínio Conjunta para mapear domínios de origem e destino em um espaço latente compartilhado. Ele emprega Transporte Ótimo (OT) para computar um acoplamento $\gamma$ entre amostras de origem e amostras não rotuladas de destino. Este acoplamento transfere rótulos de origem para instâncias de destino como pseudorrótulos, fornecendo o sinal de supervisão necessário para os dados não rotulados de destino.
Otimização de Perda: O modelo é atualizado via gradiente descendente estocástico para minimizar uma perda total que inclui:
- ERM de Origem: Cross-entropy padrão nos dados rotulados de origem para estabilizar o treinamento.
- Alinhamento de Domínio ( $L_{DA}$ ): Utiliza Transporte Ótimo Geométrico (GOT) para alinhar as distribuições de características entre origem e destino.
- Classificação Conformal ( $L_{cls}$ ): Uma penalidade diferenciável garantindo que o conjunto conformal para uma amostra de destino inclua o rótulo de origem propagado pelo OT.
- Eficiência Conformal ( $L_c$ ): Um termo de penalidade minimizando a cardinalidade esperada (tamanho) dos conjuntos de predição para amostras não rotuladas de destino.

2.3 Restrições Específicas do Domínio

O framework suporta a incorporação de conhecimento de domínio ao modificar a perda de classificação para uma perda de controle ( $L_{control}$ ). Isso permite penalidades em composições específicas de conjuntos. Por exemplo, na classificação de lesões cutâneas, a perda pode penalizar conjuntos de predição que simultaneamente incluem classes mutuamente exclusivas (ex: diagnósticos benigno e maligno), garantindo coerência semântica mesmo que isso aumente ligeiramente o tamanho do conjunto.

3. Principais Contribuições

Framework CP-JDOT: Um novo framework de SSDA que integra CRM dentro de um cenário de Adaptação de Domínio Conjunta com Transporte Ótimo. Ele une a lacuna entre o CRM supervisionado e a SSDA, aproveitando pseudorrótulos derivados de OT para calibrar preditores conformais em um espaço de características globalmente alinhado usando apenas um pequeno conjunto rotulado de destino.
Controle de Composição de Conjunto: O método demonstra que a incorporação do objetivo conformal diretamente no ciclo de treinamento permite o uso de termos de penalidade adaptados a requisitos específicos do domínio. Isso permite o controle da composição do conjunto (ex: mitigando a "confusão de cobertura" ao excluir classes conflitantes), resultando em conjuntos de predição que são estatisticamente válidos e semanticamente significativos.
Superioridade Empírica: Análises rigorosas mostram que a abordagem end-to-end supera consistentemente os métodos de estado da arte de SSDA seguidos por wrappers conformais post-hoc. O método alcança menores tamanhos médios de conjuntos de predição enquanto preserva garantias de cobertura.

4. Resultados Experimentais

Os autores avaliaram o CP-JDOT em dois cenários de benchmark:

Office-Home: Um benchmark padrão de adaptação de domínio com 12 direções de transferência pareadas (Art, Clipart, Product, Real World) usando ResNet-34 em configurações de 1-shot e 3-shot.
Classificação de Lesões Cutâneas: Um cenário de imagem médica transferindo de HAM10000 (origem) para cinco domínios de destino (PH2, Derm7pt, MSK, SONIC, UDA) usando ResNet-18 com 10 amostras rotuladas de destino por classe.

Principais Descobertas:

Redução do Tamanho do Conjunto: O CP-JDOT consistentemente alcançou o menor tamanho médio de conjunto de predição em todas as direções de transferência, superando os melhores baselines (ex: MME, CDAC, DECOTA) em aproximadamente 5–10% no Office-Home e até 12% nos datasets de lesões cutâneas.
Acurácia vs. Eficiência: Notavelmente, o CP-JDOT alcançou essas melhorias mesmo quando possuía até 10% menos de acurácia top-1 do que os baselines mais fortes de SSDA. Isso apoia a hipótese de que objetivos de acurácia convencionais estão desalinhados com a eficiência de tamanho de conjunto conformal downstream.
Controle Semântico: No estudo de ablação de lesões cutâneas, substituir a perda padrão por $L_{control}$ reduziu a proporção de "conjuntos conflitantes" (contendo tanto classes benignas quanto malignas) em 60–75% entre os datasets, com apenas um aumento modesto no tamanho médio do conjunto.

5. Significância e Alegações

O artigo afirma que o CP-JDOT fornece uma base útil para o desenvolvimento de modelos adaptáveis ao domínio onde a quantificação de incerteza não é tratada como um passo de pós-processamento separado. Ao otimizar conjuntamente a adaptação de domínio e os objetivos conformais, o framework produz conjuntos de predição que são:

Compactos: Significativamente menores do que aqueles gerados pela calibração post-hoc de modelos otimizados para acurácia.
Válidos em Cobertura: Mantendo garantias rigorosas independentes de distribuição.
Clinicamente Acionáveis: Capazes de incorporar restrições específicas do domínio (ex: excluir diagnósticos contraditórios) diretamente no processo de treinamento.

Os autores enfatizam que esta abordagem é particularmente crítica em cenários de alto risco, como a saúde, onde a composição de um conjunto de predição (ex: evitar uma mistura de diagnósticos benignos e malignos) é tão importante quanto seu tamanho para a tomada de decisão clínica.