eCP: Equivariant Conformal Prediction with pre-trained models

Título: eCP: Predição Conformal Equivariante com Modelos Pré-treinados

Autores: Nikolaos Bousias, Lars Lindemann e George Pappas.

1. O Problema

A Predição Conformal (CP) é um framework pós-hoc (aplicado após o treinamento) e livre de distribuição para quantificação de incerteza. Ela oferece garantias formais de cobertura (probabilidade de que o valor real esteja dentro do conjunto previsto) sob a suposição de troca de dados (exchangeability).

No entanto, a CP enfrenta um problema crítico de eficiência, especialmente em tarefas de previsão de trajetória de longo prazo (como em robótica e navegação autônoma):

• À medida que o horizonte temporal aumenta, as regiões de incerteza (conjuntos de previsão) tornam-se excessivamente grandes para serem úteis.
• Em níveis de confiança altos (ex: 99%), os conjuntos tornam-se tão conservadores que se tornam "informacionais vazios".
• Métodos existentes não exploram explicitamente as estruturas de simetria geométrica (como rotações, translações ou reflexões) inerentes aos dados, tratando cada amostra de forma isolada, mesmo que versões transformadas da mesma entrada contenham a mesma informação semântica.

2. Metodologia: eCP (Predição Conformal Equivariante)

Os autores propõem o eCP, um método pós-hoc que infunde informações geométricas na CP sem re-treinar o modelo pré-existente. A ideia central é tratar cada amostra não como um ponto isolado, mas como um representante de toda a sua órbita sob um grupo de simetria $G$.

Principais Componentes Técnicos:

1. Simetrização de Pontuação de Não-Conformidade:

   • Em vez de calcular a pontuação de não-conformidade $s(f(x), y)$ para uma única entrada, o eCP calcula a média da pontuação sobre todas as transformações do grupo de simetria.
   • Define-se um operador de simetrização $\Pi_G$ que integra (ou soma, para grupos finitos) as pontuações sobre o grupo $G$:
     $$\Pi_G[s; f](x,y) = \mathbb{E}_{g \sim G} [s(f(\phi_{g^{-1}}(x)), \psi_{g^{-1}}(y))]$$
   • Isso equivale a projetar o modelo pré-treinado $f_\theta$ em um modelo equivariante $f^G_\theta$ através de uma média de grupo.

2. Garantias Teóricas (Ordem Convexa Crescente):

   • O artigo prova que as pontuações de não-conformidade simetrizadas estão contraídas na ordem convexa crescente (increasing convex order) em relação às pontuações originais.
   • Matematicamente, se $S$ é a pontuação original e $S^G$ a simetrizada, então $S^G \preceq_{icx} S$.
   • Implicações:
     • Redução da variância das pontuações.
     • Melhoria nos limites de cauda exponencial (Chernoff, Hoeffding).
     • Contração dos quantis de calibração, especialmente nas caudas da distribuição (níveis de confiança altos).

3. Validade Formal:

   • O método mantém as garantias de cobertura finita de amostra da CP original, desde que a distribuição dos dados seja invariante sob o grupo de simetria considerado (ou que a troca de dados seja generalizada para incluir transformações do grupo).

3. Contribuições Principais

1. Proposta do eCP: Um método geral e pós-hoc que incorpora simetrias de grupo na predição conformal via simetrização de pontuações de não-conformidade, aplicável a qualquer modelo pré-treinado.
2. Análise Teórica Rigorosa: Estabelecimento de que a simetrização leva a uma contração na ordem convexa crescente das pontuações, resultando em conjuntos de previsão mais afiados (menores) em expectativa, sem sacrificar a cobertura.
3. Validação Empírica: Demonstração de que o eCP reduz significativamente a incerteza em tarefas de previsão de trajetória de pedestres, particularmente em níveis de confiança altos onde a CP padrão falha em ser informativa.

4. Resultados Experimentais

Os autores testaram o eCP em benchmarks de previsão de trajetória de pedestres (ETH-UCY, Stanford Drone Dataset, SportVU NBA) utilizando dois modelos base distintos:

• SocialVAE: Um modelo estocástico baseado em variáveis latentes.
• TUTR: Um preditor determinístico baseado em Transformers.

Configuração:

• Grupos de simetria testados: Rotações planares finitas ($C_4, C_8$) e contínuas ($SO(2)$).
• Métricas: Tamanho do conjunto de previsão (Quantil de calibração $Q_{0.05}$ e $Q_{0.01}$) e Cobertura Empírica ($Cov_{95\%}$ e $Cov_{99\%}$).

Descobertas Chave:

• Redução de Tamanho: O eCP reduziu consistentemente o quantil de calibração em aproximadamente 28% em comparação com a CP padrão.
• Desempenho em Alta Confiança: Os ganhos foram mais pronunciados em níveis de confiança rigorosos (ex: 99%), onde a CP padrão gera regiões de incerteza massivas. O eCP produziu conjuntos muito mais compactos mantendo a cobertura nominal.
• Impacto do Grupo de Simetria: A performance melhorou monotonicamente com a riqueza do grupo de simetria ($SO(2) > C_8 > C_4$), confirmando que órbitas maiores induzem uma contração de variância mais forte.
• Cobertura Mantida: A cobertura empírica permaneceu próxima do nível nominal (ex: ~95% ou ~99%) em todos os casos, validando as garantias teóricas.
• Independência do Modelo: O método funcionou igualmente bem para modelos estocásticos e determinísticos, sem necessidade de re-treinamento.

5. Significado e Impacto

O trabalho preenche uma lacuna importante entre o viés indutivo geométrico (comum em arquiteturas de aprendizado profundo) e a quantificação de incerteza pós-hoc.

• Eficiência Prática: Permite que sistemas de robótica e planejamento autônomo operem com margens de segurança mais apertadas e eficientes, especialmente em cenários de longo prazo onde a incerteza acumulada é um problema crítico.
• Aproveitamento de Simetrias: Demonstra que simetrias aproximadas ou emergentes em modelos pré-treinados podem ser exploradas para melhorar a precisão estatística, mesmo que o modelo não seja perfeitamente equivariante.
• Generalidade: Como é um método pós-hoc, pode ser aplicado a qualquer pipeline de aprendizado de máquina existente, tornando-o uma ferramenta prática imediata para melhorar a confiabilidade de sistemas de IA em ambientes dinâmicos.

Em resumo, o eCP oferece um mecanismo principiado para "afiar" as estimativas de incerteza, transformando regiões de previsão excessivamente conservadoras em conjuntos informativos e acionáveis, mantendo rigorosas garantias de segurança.