Resumo Técnico: De Pontos-Chave para Distribuições Preditivas

Definição do Problema

Modelos YOLO-Pose são amplamente implantados para localização de pontos-chave (keypoints) em tempo real devido à sua eficiência e capacidades de inferência de passagem única. No entanto, eles produzem uma localização determinística única para cada ponto-chave e um escore de confiança ao nível da instância que não quantifica a incerteza espacial específica do ponto-chave. Em aplicações de downstream críticas para a segurança (ex: fusão de sensores, rastreamento), a incapacidade de avaliar a confiabilidade de pontos-chave individuais limita a robustez do sistema.

Métodos existentes de quantificação de incerteza dentro da família YOLO concentram-se primariamente na detecção de objetos (caixas delimitadoras) ou exigem o retreinamento conjunto do modelo para prever a incerteza juntamente com a localização. Esse paradigma de aprendizado conjunto é frequentemente indesejável para modelos implantados onde o retreinamento é limitado por requisitos de certificação ou onde a alteração da função de perda pode degradar o desempenho da predição da média estabelecida. Além disso, perdas padrão como a Similaridade de Ponto-Chave de Objeto (OKS) induzem distribuições residuais de caudas pesadas que são mal capturadas por suposições Gaussianas padrão, levando a estimativas de incerteza mal calibradas.

Metodologia

Os autores propõem uma extensão probabilística pós-hoc leve que aumenta um modelo YOLO-Pose pré-treinado e congelado sem alterar suas predições originais de pontos-chave. A abordagem consiste em três componentes principais:

1. Extensão da Arquitetura

O método introduz cabeças probabilísticas adicionais que espelham as cabeças de pose originais. Essas cabeças utilizam as características de pescoço (neck) multiresolução compartilhadas para prever uma matriz de dispersão $2 \times 2$ heterocedástica e dependente da entrada ($\Sigma$) para cada ponto-chave. A matriz é restrita a ser positiva definida via decomposição de Cholesky. A média da distribuição preditiva é fixada na predição original do YOLO ($\hat{y}$), enquanto a matriz de dispersão captura a incerteza espacial.

2. Treinamento com NLL Ponderado por Importância

Para aprender a estrutura de dispersão, os autores empregam uma Log-Verossimilhança Negativa Gaussiana (GNLL) como um substituto para a perda OKS. Para abordar o descompasso entre a atribuição de rótulos no tempo de treinamento e o pós-processamento no tempo de inferência (ex: limiar de confiança, NMS), eles introduzem um objetivo de treinamento ponderado por importância:

• Peso de Retenção ($w_{ret}$): Baseado no escore de confiança ao nível da instância ($c_{det}^\alpha$), aproximando a verossimilhança de uma predição ser retida na inferência.
• Peso de Escala ($w_{scale}$): Baseado no inverso da área do objeto ($1/s^2$), combatendo a tendência de objetos maiores dominarem o sinal de otimização e garantindo uma calibração equilibrada entre escalas de objetos.
  O objetivo minimiza a GNLL ponderada sobre pares correspondidos de predição-verdade fundamental (ground-truth).

3. Esquemas de Calibração

Reconhecendo que a perda OKS induz resíduos de caudas pesadas (devido à sua natureza robusta e de supressão de outliers), os autores propõem duas estratégias de calibração complementares aplicadas a um conjunto de calibração mantido fora do treino (held-out):

• Calibração Gaussiana: Aplica um escalonamento de temperatura ($\tau^2$) à matriz de dispersão aprendida. Isso resulta em uma distribuição preditiva $\mathcal{N}(\hat{y}, \tau^2\Sigma)$, garantindo compatibilidade com métodos de downstream baseados em covariância (ex: filtros de Kalman).
• Calibração Student-t: Aplica tanto um escalonamento de temperatura ($\tau^2$) quanto um parâmetro de graus de liberdade ($\nu$) à matriz de dispersão, tratando-a como uma matriz de escala para uma distribuição Student-t $T_\nu(\hat{y}, \tau^2\Sigma)$. Isso captura melhor a natureza de caudas pesadas empírica dos resíduos, mantendo uma interpretação de covariância principiada para $\nu > 2$.

4. Poda Baseada em Incerteza

A covariância calibrada é convertida em um escore de confiança de localização escalar (ex: usando o traço da covariância). Pontos-chave com escores abaixo de um limiar (selecionado via estatística J de Youden em um conjunto de validação) são podados antes do processamento de downstream, removendo predições não confiáveis enquanto preservam as estimativas da média dos pontos-chave retidos.

Protocolo de Avaliação

O artigo introduz um framework de avaliação abrangente para regressão de pontos-chave heterocedástica:

• Precisão Média de Ponto-Chave (AKP): Uma métrica estilo COCO estendida ao nível do ponto-chave. Avalia se os escores de incerteza efetivamente classificam os pontos-chave por correção, permitindo a seleção ou poda de pontos-chave não confiáveis.
• Diagnósticos de Calibração Distribucional:
  • Cobertura (Coverage): Avalia se as regiões de probabilidade nominal (ex: elipses de 95%) correspondem às frequências empíricas (Erro de Cobertura Média, ACE).
  • Calibração de Variância: Compara as magnitudes de variância preditas contra os resíduos quadráticos empíricos através de níveis de incerteza (Erro de Calibração Normalizada Esperada, ENCE).
  • Gráficos Q-Q: Avalia a forma e o comportamento de cauda da distribuição preditiva contra a lei de referência.

Principais Resultados

Experimentos no dataset COCO (usando YOLO-NAS-Pose Nano e Large) demonstram:

• Classificação de Confiabilidade: Os escores de incerteza aprendidos fornecem classificações de confiabilidade eficazes ao nível do ponto-chave, alcançando altos escores de AKP significativamente acima das bases aleatórias.
• Desempenho de Calibração:
  • A Calibração Gaussiana melhora a calibração de variância (menor ENCE), mas tem dificuldade com a cobertura (maior ACE) devido à especificação incorreta das caudas.
  • A Calibração Student-t alcança o melhor desempenho geral, reduzindo significativamente o ACE (cobertura quase perfeita) enquanto mantém ou melhora o ENCE e o NLL. Isso confirma que a distribuição de resíduos empírica é melhor modelada por uma distribuição Student-t de caudas pesadas.
• Eficácia da Poda: A poda baseada em incerteza remove efetivamente pontos-chave não confiáveis (particularmente para membros ambíguos como joelhos e tornozelos), melhorando as métricas de calibração do conjunto retido.
• Estudos de Ablação: O peso por importância (especificamente os pesos de retenção e escala) é crítico para uma calibração equilibrada entre tamanhos de objetos. Matrizes de covariância heterocedásticas completas superam aproximações isotrópicas ou diagonais.

Demonstração de Aplicação: Pouso de Aeronave Baseado em Visão

Os autores demonstram a utilidade de seu método em um cenário de pouso baseado em visão (VBL) usando um dataset interno de grande escala.

• Fluxo de Trabalho: Pontos-chave da pista são detectados, e suas covariâncias 2D calibradas são propagadas através de um algoritmo Perspective-n-Point (PnP) ponderado por covariância para estimar a posição 3D da aeronave e sua covariância.
• Fusão de Sensores: A estimativa de posição 3D resultante e sua covariância são integradas em um Filtro de Kalman Estendido (EKF) junto com outros sensores de navegação (GNSS, ILS, IRS).
• Descobertas: O modelo calibrado Gaussianamente fornece covariâncias no plano da imagem bem calibradas que suportam a estimação de posição consciente da incerteza. O método mantém os requisitos de baixa latência para VBL.
• Limitação: Em condições de neblina (fora da distribuição), o modelo falha em capturar o aumento da incerteza epistêmica, destacando que a abordagem pós-hoc atual modela a incerteza aleatória dentro da distribuição de treinamento, mas não detecta inerentemente mudanças de distribuição.

Significância e Alegações

O artigo afirma ser a primeira extensão dos modelos YOLO-Pose que fornece distribuições preditivas calibradas sobre erros de localização de pontos-chave sem retreinar o modelo subjacente ou modificar suas predições originais.

Principais contribuições incluem:

1. Flexibilidade Pós-Hoc: Um método que desacopla a estimativa de incerteza da predição de pontos, permitindo a calibração de modelos existentes e certificados.
2. Fidelidade Distribucional: A demonstração de que a calibração Student-t é necessária para capturar os resíduos de caudas pesadas induzidos por perdas OKS robustas, superando suposições Gaussianas padrão.
3. Padrão de Avaliação: A introdução de AKP e um conjunto de diagnósticos de calibração adaptados para regressão de pontos-chave bivariada e heterocedástica, abordando uma lacuna na literatura onde a incerteza é frequentemente avaliada apenas qualitativamente ou via escore escalar.
4. Utilidade Prática: Validação em um domínio crítico para a segurança (aviação), mostrando que covariâncias calibradas são requisitos funcionais para fusão de sensores de downstream e que a poda baseada em incerteza pode melhorar a robustez do sistema.

Os autores mantêm uma postura modesta em relação à incerteza epistêmica, reconhecendo que sua abordagem atual depende de resíduos dentro da distribuição e que lidar com entradas fora da distribuição (ex: clima severo) requer trabalhos futuros em modelagem de incerteza epistêmica.