Probabilistic Object Detection with Conformal Prediction

Resumo Técnico: Detecção de Objetos Probabilística com Predição Conformal

Declaração do Problema
A implantação de detectores de objetos em domínios críticos para a segurança, como a condução autónoma, exige não apenas previsões precisas, mas também estimativas de incerteza fiáveis. Os detectores mais avançados dependem tipicamente de redes neurais determinísticas que carecem de quantificação de incerteza (UQ) inerente. Embora existam detectores probabilísticos, os seus métodos de UQ são frequentemente específicos do modelo e computacionalmente dispendiosos. A Predição Conformal (CP) oferece um framework pós-hoc, agnóstico ao modelo e livre de distribuição para construir conjuntos de previsão com garantias de cobertura marginal de amostras finitas. No entanto, a aplicação da CP à detecção de objetos apresenta dois desafios específicos:

1. Saída Múltipla Estruturada: A detecção de objetos produz previsões de saída múltipla (coordenadas da caixa delimitadora e rótulos de classe), complicando a aplicação da teoria clássica de CP, concebida para saídas únicas.
2. Intervalos de Largura Fixa: A CP padrão (não escalada) gera intervalos de previsão de largura constante em todos os inputs. Isto ignora a dificuldade variável de previsões individuais, levando a intervalos desnecessariamente largos para casos de baixa incerteza e potencialmente cobertura insuficiente para casos de alta incerteza.

Metodologia
Os autores propõem um framework que integra a Predição Conformal com um detector de objetos probabilístico treinado utilizando atenuação de perda (Kendall and Gal, 2017; Kassem Sbeyti et al., 2023). Este detector aprende a incerteza aleatória (variância) por previsão juntamente com os alvos de regressão, fornecendo uma estimativa de incerteza computacionalmente eficiente e livre de amostragem.

A metodologia estrutura-se em quatro componentes-chave:

1. CP Coordenada a Coordenada com Correção de Bonferroni:
   Uma vez que a regressão da caixa delimitadora envolve quatro coordenadas, a CP é aplicada coordenada a coordenada. Para garantir garantias de cobertura no nível da caixa conjunta sem assumir estruturas de dependência entre coordenadas, os autores aplicam uma correção de Bonferroni, atribuindo um nível de não cobertura de $\alpha/4$ a cada coordenada.

2. CP Escalada vs. Não Escalada:

   • CP Não Escalada: Utiliza um quantil fixo derivado de resíduos absolutos ($| \hat{f}(x) - y |$), resultando em intervalos de largura constante.
   • CP Escalada: Adapta a largura do intervalo com base em estimativas de incerteza aleatória dependentes do input ($\hat{\sigma}(x)$). A função de pontuação é reescalada: $s(\hat{y}, y) = | \hat{f}(x) - y | / \hat{\sigma}(x)$.
   • Variantes de Calibração: O estudo avalia as estimativas de atenuação de perda brutas (não calibradas) contra duas variantes calibradas utilizando regressão isotónica relativa (aplicada globalmente e por coordenada/por classe) para corrigir a má calibração nas estimativas de variância brutas.

3. CP Agnóstica à Classe vs. CP por Classe:

   • Agnóstica à Classe: Calcula um único conjunto de pontuações de conformidade através de todas as classes.
   • Por Classe: Calcula quantis de calibração separados por classe de verdade (assumindo rótulos conhecidos), permitindo que as larguras dos intervalos se adaptem à dificuldade específica da classe.

4. Pipeline de Dois Passos (Classificação e Regressão Conjuntas):
   Seguindo Timans et al. (2025), os autores implementam um pipeline onde:

   • Passo 1: A CP é aplicada ao cabeçalho de classificação utilizando Conjuntos de Previsão Adaptativa Regularizada (RAPS) para gerar um conjunto de previsão para a classe do objeto.
   • Passo 2: A caixa delimitadora conformalizada é condicionada a este conjunto de classes previsto. O quantil para a caixa delimitadora é selecionado como o pior caso apenas sobre as classes no conjunto de previsão, em vez de todas as classes possíveis.

Contribuições Principais
O artigo faz as seguintes contribuições específicas:

• Comparação Sistemática: Uma avaliação abrangente da CP não escalada versus escalada para detecção de objetos multi-classe, avaliando tanto a validade da cobertura como a nitidez do intervalo (IoU e pontuação de intervalo) em configurações dentro do domínio e entre domínios.
• Análise de Calibração de Incerteza: Uma investigação sobre como calibrar estimativas brutas de atenuação de perda (via regressão isotónica) afeta o desempenho da CP escalada.
• Avaliação por Classe: Uma análise da CP por classe para regressão de caixas delimitadoras, demonstrando o seu impacto na cobertura e nitidez relativamente a configurações agnósticas à classe.
• Avaliação de Pipeline Conjunto: Uma avaliação de um pipeline de dois passos que conformaliza conjuntamente os cabeçalhos de classificação e regressão, testando especificamente a interação entre conjuntos de previsão de classe baseados em RAPS e caixas delimitadoras conformalizadas.

Resultados Experimentais
Os experimentos foram conduzidos em três conjuntos de dados de condução autónoma: KITTI, BDD e CODA (este último servindo como avaliação entre domínios sob desvio de distribuição).

• Desempenho Escalado vs. Não Escalado: A CP escalada superou consistentemente a CP não escalada em termos de nitidez sem sacrificar as garantias de cobertura.
  • Melhorias no IoU: A CP escalada alcançou até 19% de IoU mais elevado (por exemplo, +5,4% no KITTI, +6,3% no CODA para variantes específicas) em comparação com a CP não escalada.
  • Pontuações de Intervalo: A CP escalada reduziu as pontuações de intervalo em até 39%, indicando um compromisso significativamente melhor entre largura e cobertura.
  • Desvio de Distribuição: Os benefícios da escalagem foram mais pronunciados na configuração entre domínios (CODA), onde o detector opera sob desvio de distribuição, sugerindo que intervalos adaptativos são cruciais quando o desempenho do modelo se degrada.
• Impacto da Calibração: As estimativas brutas (não calibradas) de atenuação de perda capturaram a maioria dos ganhos de desempenho sobre a CP não escalada. A calibração adicional via regressão isotónica forneceu apenas melhorias marginais adicionais na nitidez, com efeitos negligenciáveis na cobertura.
• Por Classe vs. Agnóstica à Classe: A estratificação por classe reduziu as pontuações de intervalo para ambas as variantes escalada e não escalada, sendo a redução mais significativa para a CP escalada. Isto sugere que os quantis condicionais à classe interagem favoravelmente com a escalagem da incerteza aleatória.
• Pipeline de Dois Passos: No pipeline conjunto de classificação-regressão, a CP escalada demonstrou robustez superior. Enquanto a CP não escalada sofreu um aumento substancial na pontuação de intervalo (piorando a nitidez) quando condicionada a conjuntos de previsão de classe, a pontuação de intervalo da CP escalada efetivamente diminuiu (melhorou). Isto indica que a CP escalada degrada-se de forma mais graciosa quando combinada com incerteza de classificação.

Significado e Alegações
Os autores afirmam que escalar os intervalos de Predição Conformal por estimativas de incerteza aleatória derivadas da atenuação de perda é um método simples, computacionalmente eficiente e principiado para melhorar a nitidez de detectores de objetos conformalizados.

As conclusões principais enfatizadas pelos autores incluem:

• Incerteza Acionável: O pipeline proposto produz estimativas de incerteza mais acionáveis para detecção de objetos em tempo real e do mundo real, evitando o conservadorismo excessivo desnecessário em cenários de baixa incerteza.
• Robustez: A superioridade da CP escalada mantém-se através de diferentes conjuntos de dados, estratégias de calibração de incerteza e configurações de pipeline (agnóstica à classe, por classe e de dois passos).
• Validade: As melhorias na nitidez são alcançadas sem comprometer as garantias de cobertura marginal, que permanecem válidas para ambas as variantes escalada e não escalada.
• Praticidade: A abordagem requer apenas uma passagem direta e nenhuma alteração arquitetónica para além do cabeçalho de saída, tornando-a adequada para aplicações críticas para a segurança onde a eficiência computacional é primordial.

O artigo conclui que, embora a CP forneça as garantias de cobertura necessárias, a sua integração com estimativas de incerteza dependentes do input (CP escalada) é essencial para produzir conjuntos de previsão apertados e úteis em tarefas complexas de saída múltipla, como a detecção de objetos.