Relevance-Aware Thresholding in Online Conformal Prediction for Time Series

Technisches Resümee: Relevanzbewusste Schwellenwertbildung in der Online-Konformitätsprädiktion für Zeitreihen

Problemstellung

Maschinelle Lernanwendungen in sensiblen Bereichen (Gesundheitswesen, Finanzen usw.) erfordern zunehmend eine robuste Unsicherheitsquantifizierung. Während die klassische Formulierung der Konformitätsprädiktion (Conformal Prediction, CP) verteilungsfreie Abdeckungsgarantien bietet, beruht sie häufig auf der Annahme der Austauschbarkeit von Daten, was in Zeitreihendaten aufgrund von Verteilungsverschiebungen (Distribution Shifts) oft verletzt wird.

Um dies zu adressieren, wurden Methoden der Online-Konformitätsprädiktion (Online Conformal Prediction, OCP) entwickelt, die Vorhersageintervalle dynamisch basierend auf beobachteten Fehlern aktualisieren. Bestehende State-of-the-Art-OCP-Methoden (wie PID und ECI) verlassen sich jedoch typischerweise auf eine binäre Bewertung der Vorhersageleistung: ob der wahre Wert innerhalb oder außerhalb des Vorhersageintervalls liegt. Dieser binäre Ansatz verwirft wertvolle Informationen hinsichtlich der Größe des Fehlers, wenn der wahre Wert außerhalb des Intervalls liegt, oder des Grades an Sicherheit, wenn er innerhalb liegt. Infolgedessen können diese Methoden übermäßig konservative (weite) Vorhersageintervalle erzeugen oder abrupte Schwellenwertanpassungen verursachen, was zu wenig informativen Ausgaben führt.

Methodik

Das Paper schlägt ein Framework zur Relevanzbewussten Schwellenwertbildung vor, das die binäre Fehlerindikatorfunktion durch eine kontinuierliche Funktion ersetzt, welche die „Relevanz“ eines Vorhersageintervalls quantifiziert.

Kernkonzept

Anstatt der Indikatorfunktion $1\{Y_t \notin \hat{C}_t\}$ führen die Autoren eine Familie anpassbarer Funktionen $f_{\omega, v, \mu_t}(s_t - q_t)$ ein, die den Abstand zwischen dem wahren Wert ($Y_t$) und den Vorhersagegrenzen auf einen Wert im Bereich $[0, 1]$ abbilden.

• Input: Die Größe $s_t - q_t$, wobei $s_t$ der Nicht-Konformitätswert (Abstand von der Vorhersage zum wahren Wert) und $q_t$ der aktuelle Schwellenwert ist.
• Verhalten:
  • Wenn der wahre Wert weit außerhalb des Intervalls liegt ($s_t - q_t \gg 0$), nähert sich die Funktion 1 an, was signalisiert, dass der Schwellenwert für den nächsten Schritt signifikant erhöht werden muss.
  • Wenn der wahre Wert weit innerhalb des Intervalls liegt ($s_t - q_t \ll 0$), nähert sich die Funktion 0 an, was signalisiert, dass der Schwellenwert verringert werden kann, um das Intervall zu verengen.
  • Wenn der wahre Wert nahe der Grenze liegt, geht die Funktion glatt um das Zielniveau der Fehlbedeckung $\alpha$ über.

Funktionsdesign

Die vorgeschlagene Funktionsfamilie ist definiert als:
$$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$$
wobei:

• $\sigma$ die Sigmoid-Funktion ist.
• $\mu_t$ ein dynamischer Skalierungsfaktor (Mittelwert der jüngsten absoluten Fehler) ist, der Skalenunabhängigkeit gewährleistet.
• $\omega$ und $v$ Parameter sind, die es Entscheidungsträgern (Decision Makers, DMs) ermöglichen, die Form der Funktion (z. B. Erzeugung von Plateaus für spezifische Fehlerbereiche) basierend auf Domänenexpertise anzupassen.

Integration in OCP

Die Autoren integrieren diese Funktionen in zwei prominente OCP-Algorithmen:

1. PID (Proportional-Integral-Derivative): Der binäre Indikator in der Aktualisierungsregel wird durch die Relevanzfunktion in verschiedenen Konfigurationen ersetzt (vollständiger Ersatz, Sättigung nur oder nur Fehlerterm).
2. ECI (Error-Correcting Inference): Der Glättungsterm, der den Gradienten einer Funktion beinhaltet, wird so modifiziert, dass er den Gradienten der vorgeschlagenen Relevanzfunktion verwendet.

Die theoretische Analyse (Theoreme 1–3) zeigt, dass unter spezifischen Bedingungen bezüglich der Sättigungsfunktionen und Lernraten diese modifizierten Aktualisierungen die langfristige Abdeckungsgarantie (Validität) bewahren.

Zentrale Beiträge

1. Relevanzbewusstes Framework: Einführung eines allgemeinen Ansatzes, um den Abstand zwischen dem wahren Wert und den Intervallgrenzen zu nutzen und somit über die binäre Fehlerverfolgung in OCP hinauszugehen.
2. Anpassbare Funktionsfamilie: Eine Menge parametrisierter Funktionen, die es Entscheidungsträgern ermöglichen, den Straf-/Belohnungsmechanismus für Vorhersagefehler unter Berücksichtigung spezifischer Domänenbeschränkungen und Präferenzen maßzuschneidern.
3. Algorithmische Verbesserungen: Modifikation von State-of-the-Art-OCP-Methoden (PID und ECI), um diese Funktionen zu integrieren, wobei theoretische Beweise die Aufrechterhaltung der Validität (Abdeckung) sicherstellen.
4. Empirische Validierung: Demonstration, dass die modifizierten Methoden im Vergleich zu den Originalmethoden engere Vorhersageintervalle (verbesserte Effizienz) erzielen, während sie die Abdeckungsvalidität beibehalten oder verbessern.

Experimentelle Ergebnisse

Die Autoren evaluierten die modifizierten PID- und ECI-Methoden auf realen Datensätzen: Amazon-, Google- und Microsoft-Aktienkurse sowie Delhi-Temperaturdaten.

• PID-Ergebnisse: Auf dem Amazon-Datensatz reduzierte das modifizierte PID die durchschnittliche Intervallbreite von 32,42 auf 29,36 (AR-Regressor), während eine 90%ige Abdeckung beibehalten wurde. Auf den Google-Aktienkursdaten reduzierte das modifizierte PID die durchschnittliche Breite signifikant (z. B. von 43,75 auf 34,96 für AR), während die Abdeckung gewahrt blieb.
• ECI-Ergebnisse: Die ursprüngliche ECI-Methode hatte Schwierigkeiten, die angestrebte 90%ige Abdeckung in dem experimentellen Setup der Autoren zu erreichen (sie erreichte ~78–83%). Das modifizierte ECI erreichte erfolgreich die angestrebte 90%ige Abdeckung über alle Datensätze hinweg. Während das modifizierte ECI in einigen Fällen etwas breitere Intervalle als das ursprüngliche ECI produzierte, wurden die schmaleren Intervalle der ursprünglichen Methode als unzuverlässig aufgrund von Unterdeckung eingestuft. Im direkten Vergleich mit den im ursprünglichen ECI-Paper berichteten Ergebnissen zeigte die modifizierte Methode eine kompetitive oder überlegene Leistung, insbesondere beim Temperaturdatensatz, wo sie das Original in allen Metriken übertraf.
• Stabilität: Die Verwendung von Relevanzfunktionen führte zu glatteren Schwellenwertanpassungen, was die abrupten Änderungen verhinderte, die oft bei binären Aktualisierungsmethoden auftreten.

Bedeutung und Ansprüche

Das Paper behauptet, dass durch den Wechsel von einer binären Sicht auf Fehler zu einer relevanzbasierten Sicht OCP-Methoden informativere (engere) Vorhersageintervalle erzeugen können, ohne die kritische Anforderung der Abdeckungsvalidität zu opfern. Dies ist besonders signifikant für Zeitreihenanwendungen, in denen Verteilungsverschiebungen häufig vorkommen und Entscheidungsträger eine robuste Unsicherheitsquantifizierung benötigen.

Die Autoren betonen, dass diese Arbeit zur Entwicklung von vertrauenswürdiger KI für sensible Anwendungen beiträgt. Sie merken an, dass der Ansatz es ermöglicht, die Präferenzen von Entscheidungsträgern durch die Parametrisierung der Relevanzfunktionen einzubeziehen, wodurch die Lücke zwischen statistischen Garantien und praktischen Entscheidungsbedürfnissen geschlossen wird. Das Paper schließt bescheiden mit dem Hinweis, dass zukünftige Arbeiten sich auf die Optimierung von Hyperparametern konzentrieren und den Einfluss des Skalierungsparameters $\mu_t$ weiter untersuchen sollten.