eCP: Equivariant Conformal Prediction with pre-trained models

Titel: eCP: Equivariante Conformale Voorspelling met voorgeprogrammeerde modellen

Auteurs: Nikolaos Bousias, Lars Lindemann en George Pappas.

1. Het Probleem

Conformale voorspelling (Conformal Prediction, CP) is een post-hoc methode voor onzekerheidskwantificatie die formele dekkinggaranties biedt onder de aanname van uitwisselbaarheid (exchangeability) van data. Het is model-onafhankelijk en vereist geen hertraining van bestaande modellen.

Echter, een bekend nadeel van CP is de efficiëntie. Vooral bij lange-termijn voorspellingen (zoals het voorspellen van paden in de robotica) of bij hoge betrouwbaarheidsniveaus (bijv. 99% dekking), worden de gegenereerde voorspellingssets (onzekerheidsregio's) extreem groot. Dit maakt de onzekerheidsschattingen in de praktijk vaak nutteloos ("overly conservative"), omdat ze te breed zijn om bruikbare beslissingen te ondersteunen. Bestaande verbeteringen richten zich vaak op adaptieve gewichten of conditionele CP, maar ze benutten vaak de inherente geometrische symmetrieën (zoals rotatie- of translatie-invariantie) in de data niet optimaal.

2. Methodologie: eCP (Equivariant Conformal Prediction)

De auteurs stellen eCP voor, een post-hoc procedure die geometrische informatie injecteert in het conformale voorspellingskader zonder het onderliggende model te hertrainen.

Kernconcepten:

• Groepssymmetrie: Veel real-world taken vertonen geometrische symmetrieën (bijv. rotatie-invariantie bij voetgangersbewegingen). Een voorspellingsmodel dat niet exact equivariant is, kan toch benaderende symmetrie vertonen door training of data-augmentatie.
• Symmetrisatie van niet-conformiteitsscores: In plaats van elke steekproef als een geïsoleerd punt te behandelen, behandelt eCP een steekproef als een vertegenwoordiger van een hele baan (orbit) binnen een symmetriegroep $G$.
• Groepsgemiddelde (Group Averaging): De methode berekent een "equivariantized" voorspeller $f^G_\theta$ door het voorspellingssignaal te middelen over de groep $G$:
  $$f^G_\theta(x) = \mathbb{E}_{g \sim \mu_G} [\psi_g \circ f_\theta \circ \phi_{g^{-1}}(x)]$$
  Waarbij $\phi$ en $\psi$ de acties van de groep op de input en output zijn, en $\mu_G$ de Haar-maat is.
• Niet-conformiteitsscore: De score wordt berekend op basis van deze gemiddelde voorspelling. Door de Jensen-ongelijkheid en de convexiteit van de scores, leidt dit tot een contractie van de verwachte niet-conformiteitsscores.

Wiskundige Grondslag:
De auteurs bewijzen dat de niet-conformiteitsscores van de equivariantized predictor gecontracteerd zijn in de toenemende convexe orde (increasing convex order, $\preceq_{icx}$) ten opzichte van de originele scores.

• Dit impliceert dat de staartkansen (tail probabilities) van de foutverdeling afnemen.
• Dit leidt tot een vermindering van de Conditional Value at Risk (CVaR) en een strakkere Chernoff-bound.
• Het resultaat is dat de kwantielen van de calibratiescores lager zijn, wat resulteert in kleinere voorspellingssets, terwijl de formele dekkinggarantie ($1-\alpha$) behouden blijft.

3. Belangrijkste Bijdragen

1. eCP Framework: Een algemene, post-hoc methode die groepssymmetrieën integreert in conformale voorspelling via symmetrisatie van niet-conformiteitsscores. Het is toepasbaar op willekeurige voorgeprogrammeerde modellen.
2. Theoretische Bewijzen: Het aantonen dat groepsgemiddelde scores gecontracteerd zijn in de toenemende convexe orde. Dit garandeert een verbeterde staartgedrag en scherpere voorspellingssets in verwachting, zonder dekking te verliezen.
3. Empirische Validatie: Demonstratie dat eCP de onzekerheid aanzienlijk vermindert in lange-termijn trajectvoorspelling, vooral bij hoge betrouwbaarheidsniveaus, terwijl de dekking dicht bij de nominale waarde blijft.

4. Resultaten

De methode werd getest op voetgangerstrajectvoorspelling (datasets: ETH-UCY, Stanford Drone Dataset, SportVU NBA) met twee verschillende basismodellen:

• SocialVAE: Een stochastisch latent-variabel model.
• TUTR: Een deterministische transformer-gebaseerde predictor.

Belangrijkste bevindingen:

• Verkleining van Voorspellingssets: eCP reduceerde de calibratie-kwantiel (de straal van de voorspellingsset bij 95% dekking) met ongeveer 28% ten opzichte van standaard CP.
• Hoge Betrouwbaarheid: De grootste winst werd geboekt bij zeer hoge betrouwbaarheidsniveaus (bijv. 99%), waar standaard CP vaak te conservatief is. Bij 99% dekking bleven de sets aanzienlijk kleiner dan bij de baseline.
• Dekking: De empirische dekking bleef consistent dicht bij het doel (bijv. ~95% of ~99%), wat de theoretische garantie bevestigt.
• Invloed van Symmetriegroep: De prestaties verbeterden monotoon met de rijkdom van de symmetriegroep: $SO(2)$ (continue rotatie) presteerde beter dan $C_8$ (8-voudige discrete rotatie), die op zijn beurt beter was dan $C_4$.
• Model-onafhankelijkheid: De methode werkte even goed voor zowel stochastische als deterministische modellen, zonder enige hertraining of fine-tuning.

5. Betekenis en Toekomstperspectief

De paper biedt een principieel mechanisme om de efficiëntie van onzekerheidskwantificatie te verbeteren door gebruik te maken van symmetrie-informatie die al aanwezig is in het probleem, zelfs als het model niet perfect equivariant is.

• Praktische Impact: Voor robotica en veiligheidskritieke systemen betekent dit dat planners kunnen vertrouwen op veel smaller en informatiever onzekerheidsregio's, wat leidt tot efficiëntere en veiligere bewegingsplanning.
• Beperkingen: De methode vereist kennis van een geldige symmetriegroep. Als de aangenomen symmetrie niet overeenkomt met de data, zijn de voordelen beperkt. Bovendien introduceert het middelen over grote groepen (vooral continue groepen via Monte Carlo) een extra rekenkosten, hoewel dit verwaarloosbaar is ten opzichte van het hertrainen van modellen.

Kortom, eCP overbrugt de kloof tussen geometrische inductieve bias en post-hoc onzekerheidskwantificatie, waardoor conformale voorspelling praktischer wordt voor complexe, lange-termijn taken.