Conformal Prediction Sets for Instance Segmentation

Resumo Técnico: Conjuntos de Predição Conformal para Segmentação de Instâncias

Definição do Problema
Os modelos atuais de segmentação de instâncias alcançam um alto desempenho médio, mas carecem de uma quantificação de incerteza fundamentada. Seus outputs, como logits ou pontuações de confiança, são frequentemente descalibrados, não oferecendo garantia de que uma máscara prevista esteja próxima da verdade fundamental (ground truth). Métricas de incerteza existentes (ex: probabilidades de borda) são frequentemente descalibradas e difíceis de interpretar. Além disso, abordagens recentes de predição conformal para segmentação estão limitadas a modificar uma única máscara prevista pelo modelo (ex: via dilatação ou expansão de borda). Esses métodos capturam a incerteza local da borda, mas falham em abordar a incerteza estrutural — a ambiguidade sobre se regiões adjacentes devem ser tratadas como um único objeto ou divididas em múltiplos objetos. Essa limitação é crítica em aplicações do mundo real, onde pode não existir uma única configuração de parâmetros "ideal" para todas as consultas.

Metodologia
Os autores propõem um algoritmo de predição conformal que gera conjuntos de confiança adaptativos de predições de instância para uma imagem e uma consulta de coordenada de pixel dada. O método opera sob o seguinte framework:

1. Configuração: A entrada consiste em uma imagem $I$ e um ponto de consulta $(z_1, z_2)$. O objetivo é prever uma máscara binária $Y$ para a instância do objeto que contém a consulta. O método utiliza um modelo de segmentação de instância $f$ que aceita um parâmetro ajustável $T$ (ex: limiares de watershed, limiares de logit ou índices de máscara) para produzir predições diversas $\hat{Y} = f(X, T)$.
2. Calibração: Utilizando um conjunto de calibração de $n$ pares imagem-consulta com máscaras de verdade fundamental, o algoritmo avalia a Interseção sobre União (IoU) das predições geradas por uma grade de $k$ valores de parâmetros $\{t_1, \dots, t_k\}$.
3. Construção do Conjunto (Set Cover): Para um limiar de IoU alvo $\tau$ e uma taxa de erro $\alpha$, o algoritmo identifica um subconjunto mínimo de índices de parâmetros $J_{\alpha, \tau}$ tal que a união das predições bem-sucedidas (aquelas com IoU $> \tau$) cubra pelo menos $(1-\alpha)n$ exemplos de calibração. Este passo é formulado como um problema de Cobertura de Conjuntos (Set Cover), resolvido via um algoritmo guloso seguido de refinamento por força bruta para minimizar o tamanho do conjunto.
4. Predição: Para um novo dado de teste, o algoritmo gera predições usando o subconjunto de parâmetros selecionado $J_{\alpha, \tau}$, formando o conjunto de confiança inicial $C_{\alpha, \tau}(X_{test})$.
5. Refinamento Adaptativo (Remoção de Duplicatas): Para evitar redundância, o algoritmo remove máscaras quase duplicadas (definidas por um limiar de IoU secundário $\eta$) usando uma abordagem de Conjunto Dominante (Dominating Set). Isso resulta em um tamanho de conjunto adaptativo que varia conforme a dificuldade da consulta.
6. Garantias: O método fornece garantias assintóticas de que, com probabilidade $\ge 1-\alpha$, o conjunto de confiança final conterá pelo menos uma máscara com IoU superior a um limiar recalibrado $\tilde{\theta}$. Uma versão de amostra finita também é fornecida usando divisão de amostras (sample splitting) e Controle de Risco Conformal (CRC).

Principais Contribuições

1. Formulação Inovadora: O artigo introduz a primeira formulação de predição conformal para segmentação de instâncias que captura a incerteza estrutural. Diferente de métodos anteriores que perturbam uma única máscara, esta abordagem constrói predições de valores de conjunto sobre múltiplas configurações de modelos.
2. Viabilidade em Configurações Não-Monótonas: O método não requer uma função de perda monótona (um requisito para o Controle de Risco Conformal padrão e frameworks Learn Then Test). Isso permite o uso de funções de perda baseadas em IoU, que são inerentemente não-monótonas em relação aos parâmetros de segmentação.
3. Conjuntos de Confiança Adaptativos: O algoritmo produz conjuntos de predição que variam em tamanho conforme a dificuldade da consulta, removendo duplicatas para fornecer uma representação mais informativa da incerteza sem sobrecarregar o usuário.
4. Garantias Teóricas: O trabalho fornece garantias teóricas tanto assintóticas quanto de amostra finita para cobertura, assegurando que pelo menos uma predição no conjunto alcance um IoU elevado com a verdade fundamental.

Resultados Experimentais
O algoritmo foi avaliado em três tarefas distintas: delineamento de campos agrícolas, segmentação de células e detecção de veículos.

• Cobertura: O método alcançou cobertura empírica próxima ao alvo $(1-\alpha)$, superando significativamente os baselines. Por exemplo, na detecção de veículos, a cobertura melhorou de 66,1% (o baseline de melhor parâmetro ingênuo) para 84,3%.
• Comparação com Baselines: O baseline de "melhor parâmetro ingênuo" (selecionando um único parâmetro global) e o baseline de "dilatação morfológica" (expandindo uma única máscara) falharam em capturar a ambiguidade estrutural. O método proposto recuperou com sucesso casos onde o baseline ou sub-segmentava ou sobre-segmentava objetos.
• Adaptabilidade: O tamanho dos conjuntos de predição adaptou-se à dificuldade da consulta. Em cenários ambíguos (ex: fronteiras de campos), os conjuntos expandiram para incluir múltiplas máscaras plausíveis (até 5), enquanto em casos claros (ex: células distintas), os conjuntos colapsaram para tamanho um ou dois.
• Limiares: O limiar de IoU recalibrado $\tilde{\theta}$ permaneceu próximo ou superior ao $\tau$ original, indicando que a remoção de duplicatas não degradou significativamente a garantia de cobertura.

Significância e Alegações
Os autores alegam que este trabalho é o primeiro a capturar a incerteza estrutural na segmentação de instâncias ao construir conjuntos de confiança de diversas predições de segmentação. A significância reside na mudança de paradigma de fornecer uma única predição "melhor" (que pode ser estruturalmente incorreta) para fornecer um conjunto provável de hipóteses diversas. Esta abordagem reconhece que, em imagens ambíguas (ex: campos de baixo contraste, células sobrepostas), uma única máscara é frequentemente insuficiente. O método formaliza a confiabilidade dos modelos de segmentação ao quantificar explicitamente a probabilidade de que o objeto real esteja representado dentro do conjunto.

O artigo nota modestamente que a predição conformal não pode superar as limitações inerentes do modelo de segmentação subjacente; se o modelo base não consegue atingir um certo IoU, o conjunto de confiança não pode garanti-lo. Além disso, o método depende da existência de um parâmetro ajustável que induza diversidade significativa. Os autores identificam como trabalho futuro o desenvolvimento de estratégias de treinamento que incentivem explicitamente a diversidade de máscaras e a criação de aproximações escaláveis para os passos de otimização combinatória (cobertura de conjuntos e remoção de duplicatas) para lidar com espaços de parâmetros maiores.