Technische Samenvatting: Relevantie-bewuste Drempelwaarde in Online Conformal Prediction voor Tijdreeksen

Probleemstelling

Machine learning-toepassingen in gevoelige domeinen (gezondheidszorg, financiën, etc.) vereisen in toenemende mate robuuste onzekerheidskwantificering. Hoewel Conformal Prediction (CP) distributievrije dekking guarantees biedt, rust de klassieke formulering ervan op de aanname van uitwisselbaarheid van gegevens, wat in tijdreeksen vaak wordt geschonden door distributieverschuivingen.

Om dit aan te pakken, zijn Online Conformal Prediction (OCP) methoden ontwikkeld die voorspellingsintervallen dynamisch bijwerken op basis van geobserveerde fouten. Echter, bestaande state-of-the-art OCP-methoden (zoals PID en ECI) vertrouwen doorgaans op een binaire evaluatie van de voorspellingsprestaties: of de grondwaarheid binnen of buiten het voorspellingsinterval valt. Deze binaire benadering negeert waardevolle informatie over de grootte van de fout wanneer de grondwaarheid buiten het interval valt, of de graad van veiligheid wanneer deze er binnen valt. Als gevolg hiervan kunnen deze methoden te conservatieve (brede) voorspellingsintervallen produceren of lijden ze aan abrupte drempelwaarde-aanpassingen, wat leidt tot oninformatieve outputs.

Methodologie

Het paper stelt een Relevantie-bewust Drempelwaarde-framework voor dat de binaire foutindicator vervangt door een continue functie die de "relevantie" van een voorspellingsinterval kwantificeert.

Kernconcept

In plaats van de indicatorfunctie $1\{Y_t \notin \hat{C}_t\}$, introduceren de auteurs een familie van aanpasbare functies, $f_{\omega, v, \mu_t}(s_t - q_t)$, die de afstand tussen de grondwaarheid ($Y_t$) en de voorspellingsgrenzen in kaart brengen naar een waarde in $[0, 1]$.

• Input: De hoeveelheid $s_t - q_t$, waarbij $s_t$ de non-conformiteitsscore is (afstand van de voorspelling tot de grondwaarheid) en $q_t$ de huidige drempelwaarde.
• Gedrag:
  • Als de grondwaarheid ver buiten het interval ligt ($s_t - q_t \gg 0$), nadert de functie 1, wat signaleert dat de drempelwaarde voor de volgende stap aanzienlijk moet worden verhoogd.
  • Als de grondwaarheid ver binnen het interval ligt ($s_t - q_t \ll 0$), nadert de functie 0, wat signaleert dat de drempelwaarde kan worden verlaagd om het interval te vernauwen.
  • Als de grondwaarheid nabij de grens ligt, transformeert de functie vloeiend rond het beoogde mis-dekkingniveau $\alpha$.

Functieontwerp

De voorgestelde functiefamilie wordt gedefinieerd als:
$$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$$
waarbij:

• $\sigma$ de sigmoidfunctie is.
• $\mu_t$ een dynamische schalfactor is (gemiddelde van recente absolute fouten) die schaalonafhankelijkheid waarborgt.
• $\omega$ en $v$ parameters zijn waarmee Decision Makers (DMs) de vorm van de functie kunnen afstemmen (bijv. het creëren van plateaus voor specifieke foutbereiken) op basis van domeinkennis.

Integratie in OCP

De auteurs integreren deze functies in twee prominente OCP-algoritmen:

1. PID (Proportional-Integral-Derivative): De binaire indicator in de update-regel wordt vervangen door de relevantiefunctie in verschillende configuraties (volledige vervanging, saturatie-alleen, of fout-term-alleen).
2. ECI (Error-Correcting Inference): De smoothing-term die de gradiënt van een functie betreft, wordt gewijzigd om de gradiënt van de voorgestelde relevantiefunctie te gebruiken.

Theoretische analyse (Theorema 1–3) toont aan dat onder specifieke condities met betrekking tot de verzadigingsfuncties en leersnelheden, deze aangepaste updates de lange-termijn dekking garantie (validiteit) behouden.

Belangrijkste Bijdragen

1. Relevantie-bewust Framework: Introductie van een algemene aanpak om de afstand tussen de grondwaarheid en de intervalgrenzen te benutten, waarmee verder wordt gegaan dan binaire fouttracking in OCP.
2. Aanpasbare Functiefamilie: Een set geparametriseerde functies die DMs in staat stellen om het straf-/beloningsmechanisme voor voorspellingsfouten af te stemmen (bijv. door middel van parametrisatie), rekening houdend met specifieke domeinbeperkingen en voorkeuren.
3. Algoritmische Verbeteringen: Modificatie van state-of-the-art OCP-methoden (PID en ECI) om deze functies te incorporeren, met theoretische bewijzen die garanderen dat validiteit (dekking) behouden blijft.
4. Empirische Validatie: Demonstratie dat de aangepaste methoden nauwere voorspellingsintervallen bereiken (verbeterde efficiëntie) terwijl ze de dekking validiteit handhaven of verbeteren vergeleken met de originele methoden.

Experimentele Resultaten

De auteurs evalueerden de aangepaste PID- en ECI-methoden op real-world datasets: Amazon, Google en Microsoft aandelenkoersen, en Delhi temperatuurgegevens.

• PID-resultaten: Op de Amazon-dataset verminderde de aangepaste PID de gemiddelde intervalbreedte van 32,42 naar 29,36 (AR regressor) terwijl 90% dekking werd behouden. Op de Google-aandelengegevens verminderde de aangepaste PID de gemiddelde breedte aanzienlijk (bijv. van 43,75 naar 34,96 voor AR) terwijl de dekking behouden bleef.
• ECI-resultaten: De originele ECI-methode had moeite om de beoogde 90% dekking te bereiken in de experimentele opzet van de auteurs (bereikte ~78-83%). De aangepaste ECI slaagde erin de beoogde 90% dekking te bereiken over alle datasets. Hoewel de aangepaste ECI in sommige gevallen iets bredere intervallen produceerde dan de originele ECI, werd de originele methode als onbetrouwbaar beschouwd vanwege onder-dekking. In directe vergelijking met de resultaten gerapporteerd in het originele ECI-paper, toonde de aangepaste methode competitieve of superieure prestaties, met name op de temperatuurdataset waar deze de originele over alle metrieken heen versloeg.
• Stabiliteit: Het gebruik van relevantiefuncties resulteerde in vloeiendere drempelwaarde-aanpassingen, wat de abrupte veranderingen voorkomt die vaak voorkomen bij binaire-update methoden.

Betekenis en Claims

Het paper claimt dat door over te stappen van een binair foutzicht naar een relevantie-gebaseerd zicht, OCP-methoden meer informatieve (smallere) voorspellingsintervallen kunnen produceren zonder de kritieke vereiste van dekking validiteit op te offeren. Dit is bijzonder significant voor tijdreeks-toepassingen waar distributieverschuivingen gebruikelijk zijn en besluitvormers robuuste onzekerheidskwantificering nodig hebben.

De auteurs benadrukken dat dit werk bijdraagt aan de ontwikkeling van betrouwbare AI voor gevoelige toepassingen. Ze merken op dat de aanpak het mogelijk maakt om de voorkeuren van de Decision Maker te integreren via de parametrisatie van de relevantiefuncties, waardoor de kloof tussen statistische garanties en praktische besluitvormingsbehoeften wordt overbrugd. Het paper concludeert bescheiden door te suggereren dat toekomstig werk zich moet richten op het optimaliseren van hyperparameters en het verder onderzoeken van de impact van de schalfactor $\mu_t$.