EARCP: Self-Regulating Coherence-Aware Ensemble Architecture for Sequential Decision Making -- Ensemble Auto-Regule par Coherence et Performance

Die Arbeit stellt EARCP vor, eine neuartige Ensemble-Architektur, die heterogene Expertenmodelle durch eine selbstregulierende, kohärenzbasierte Online-Lernmethode dynamisch gewichtet, um in nicht-stationären Umgebungen sublineare Regret-Schranken zu erreichen und robuste sequenzielle Entscheidungen zu treffen.

Das Wesentliche

Stellen Sie sich vor, Sie müssen eine wichtige Entscheidung treffen, aber Sie sind sich nicht sicher, welcher Ratgeber der richtige ist. Vielleicht sind Sie auf einer Reise durch ein sich ständig veränderndes Wettergebiet. Manchmal ist ein Experte gut für Regen, ein anderer für Hitze, und ein Dritter weiß plötzlich nichts mehr, weil sich die Bedingungen geändert haben.

Das ist genau das Problem, das die EARCP-Methode löst. Hier ist eine einfache Erklärung, wie das funktioniert, ohne komplizierte Mathe-Begriffe.

🌟 Die Idee: Ein dynamisches Team von Experten

Stellen Sie sich EARCP wie einen sehr klugen Kapitän vor, der ein Schiff durch stürmische Gewässer steuert. An Bord hat er nicht einen einzigen Navigator, sondern ein ganzes Team aus vier verschiedenen Experten:

1. Einen, der gut auf Karten schaut (CNN – für Muster).
2. Einen, der die Geschichte der Wellen kennt (LSTM – für Zeitreihen).
3. Einen, der ferne Horizonte sieht (Transformer – für lange Zusammenhänge).
4. Einen, der schnelle Reaktionen auf plötzliche Änderungen hat (DQN – für Entscheidungen).

In der alten Welt (bei herkömmlichen Methoden) würde der Kapitän entweder:

• Nur einem Experten glauben (was riskant ist, wenn dieser mal einen schlechten Tag hat).
• Oder allen gleich viel glauben (was dumm ist, wenn einer gerade völlig falsch liegt).
• Oder das Team einmal im Jahr trainieren und dann stur dabei bleiben (was katastrophal ist, wenn sich das Wetter plötzlich ändert).

EARCP ist anders. Es ist wie ein Kapitän, der jede Sekunde neu bewertet, wem er vertrauen soll.

⚖️ Wie entscheidet der Kapitän? (Die zwei Magischen Kräfte)

Der Kapitán nutzt zwei einfache Regeln, um zu entscheiden, wessen Stimme am lautesten gehört wird:

1. Die "Leistungskarte" (Performance)

• Frage: "Wer hat in der letzten Zeit die besten Vorhersagen gemacht?"
• Analogie: Wenn Experte A gestern den Regen perfekt vorhergesagt hat und Experte B danebenlag, bekommt A heute mehr Vertrauen. Das ist einfach: Wer gut ist, wird belohnt.

2. Die "Eintrachts-Karte" (Coherence) – Das ist das Neue!

• Frage: "Wer stimmt mit den anderen überein?"
• Analogie: Stellen Sie sich vor, alle Experten schauen auf den Himmel.
  • Wenn alle sagen "Es wird regnen", dann ist das ein starkes Signal. Der Kapitän vertraut diesem Konsens.
  • Wenn einer schreit "Sonne!" und die anderen vier sagen "Regen!", dann ist dieser eine wahrscheinlich verwirrt oder hat einen schlechten Tag. Der Kapitän dämpft seine Stimme, auch wenn er theoretisch gut sein könnte.
  • Der Clou: EARCP nutzt diese Übereinstimmung, um Fehler zu vermeiden. Wenn alle Experten sich einig sind, ist das Team robuster. Wenn sie sich streiten, weiß der Kapitän, dass es unsicher ist, und passt sich vorsichtiger an.

🔄 Der Tanz der Gewichte

Der Kapitän passt die "Stimmenstärke" (das Gewicht) der Experten laufend an, nicht nur einmal am Anfang.

• Wenn sich die Bedingungen ändern (z. B. von Sommer zu Winter), merkt EARCP sofort: "Hey, der Wetter-Experte für Hitze ist jetzt nutzlos, aber der Winter-Experte glänzt!"
• Es gibt aber auch eine Sicherheitsregel: Der Kapitän lässt keinen Experten ganz verstummen. Jeder bekommt immer ein kleines bisschen Aufmerksamkeit (mindestens 5 %). Warum? Damit niemand überrascht wird, wenn ein "schlechter" Experte plötzlich wieder der Beste wird.

🚀 Wo ist das nützlich?

Diese Methode ist wie ein Schweizer Taschenmesser für Vorhersagen. Sie funktioniert überall dort, wo sich Dinge ändern:

• Finanzen: Der Aktienmarkt ist chaotisch. EARCP hilft, das richtige Team von Algorithmen zu wählen, wenn die Märkte von "Bullen" zu "Bären" wechseln.
• Medizin: Ein Arzt nutzt Röntgenbilder, MRTs und Blutwerte. EARCP hilft zu entscheiden, welchem Test man gerade mehr vertrauen soll, je nachdem, wie sich der Patient verändert.
• Autonomes Fahren: Wenn eine Kamera durch Regen getrübt ist, vertraut das System mehr dem Radar. EARCP regelt diesen Übergang automatisch und sicher.

🏆 Das Ergebnis

In Tests hat sich gezeigt, dass dieser "kluge Kapitän" (EARCP) viel besser ist als:

• Ein einzelner Experte.
• Ein starr festgelegtes Team.
• Oder sogar andere moderne KI-Methoden.

Es ist schneller, genauer und vor allem robuster. Es lernt aus der Vergangenheit, achtet aber gleichzeitig darauf, dass das Team zusammenhält (Eintracht), wenn es schwierig wird.

Kurz gesagt: EARCP ist wie ein Dirigent, der nicht nur darauf hört, wer das Instrument am besten spielt, sondern auch darauf, ob das Orchester harmonisch klingt. So entsteht die perfekte Symphonie, egal wie das Wetter draußen ist.

Technische Zusammenfassung

Titel und Autoren

Titel: EARCP: Ensemble Auto-Régulé par Cohérence et Performance (Ein selbstregulierendes, kohärenzbewusstes Ensemble-Architektur für sequentielle Entscheidungsfindung)
Autor: Mike Amega (Independent Researcher, Windsor, Ontario, Kanada)
Datum: Dezember 2025 (Veröffentlicht im März 2026)

---

1. Problemstellung und Motivation

Ensemble-Methoden kombinieren Vorhersagen mehrerer Modelle, um die Generalisierungsfähigkeit zu verbessern. Herkömmliche Ansätze (wie Stacking, Bagging oder statische Mixture-of-Experts) stoßen jedoch in sequentiellen Entscheidungsproblemen an ihre Grenzen, insbesondere aufgrund von:

• Nicht-Stationarität: Die zugrundeliegende Datenverteilung ändert sich über die Zeit. Modelle, die früher zuverlässig waren, können degradieren, während andere verbessert werden. Statische Gewichte können diese Dynamik nicht erfassen.
• Heterogenität: Unterschiedliche Modellarchitekturen (z. B. CNNs, LSTMs, Transformer) haben komplementäre Stärken und Schwächen.
• Partielles Feedback: In vielen Anwendungen (z. B. Finanzmärkte, medizinische Diagnosen) wird die Qualität einer Vorhersage erst mit Verzögerung bekannt, was die Anpassung der Gewichte erschwert.

Bestehende Online-Lernalgorithmen (wie Hedge) bieten zwar theoretische Garantien, ignorieren jedoch die Zusammenhänge zwischen den Modellen (Inter-Modell-Beziehungen), die die Robustheit erhöhen könnten.

---

2. Methodik: Die EARCP-Architektur

EARCP ist ein Framework, das die Leistungsbasierte Anpassung mit einem kohärenzbewussten Regularisierungsterm kombiniert. Es passt die Gewichte der Experten-Modelle dynamisch und online an.

A. Kernkomponenten

Für jeden Zeitpunkt $t$ und jeden Experten $i$ werden zwei Kennzahlen verfolgt:

1. Leistungsscore ($P_{i,t}$): Ein exponentieller gleitender Durchschnitt (EMA) der negativen Verluste. Dies misst die historische Genauigkeit.
2. Kohärenzscore ($C_{i,t}$): Ein Maß für die Übereinstimmung mit anderen Experten.
   • Klassifikation: Anteil der Experten, die dieselbe Klasse vorhersagen.
   • Regression: Basierend auf der inversen Distanz oder Korrelation der Vorhersagen.
   • Auch dieser Score wird über einen EMA geglättet, um Rauschen zu reduzieren.

B. Gewichtsaktualisierungsmechanismus

Der Algorithmus aktualisiert die Gewichte $w_{i,t}$ in drei Schritten:

1. Normalisierung und Kombination: Die Scores $P$ und $C$ werden normalisiert und zu einem kombinierten Score $s_{i,t}$ gewichtet:
   $$s_{i,t} = \beta \cdot \tilde{P}_{i,t} + (1 - \beta) \cdot \tilde{C}_{i,t}$$
   Dabei steuert $\beta \in [0, 1]$ das Verhältnis zwischen reiner Leistung und Konsens (Kohärenz).
2. Exponentielle Transformation: Die Gewichte werden multiplikativ aktualisiert (ähnlich wie beim Hedge-Algorithmus):
   $$\tilde{w}_{i,t} = \exp(\eta_s \cdot s_{i,t})$$
3. Stabilisierung:
   • Floor-Constraint: Ein Mindestgewicht $w_{min}$ wird erzwungen, um sicherzustellen, dass auch schwächere Experten eine Chance behalten (Exploration), falls sich die Datenverteilung ändert.
   • Renormierung: Die Gewichte werden so skaliert, dass sie summieren 1 ergeben.

C. Algorithmische Komplexität

Die Komplexität pro Zeitschritt beträgt $O(M^2)$ für die Berechnung der Kohärenz (Paarvergleich aller $M$ Experten). Für große $M$ kann dies durch Sampling auf $O(M \cdot K)$ approximiert werden. Der Overhead gegenüber der reinen Inferenz der Experten ist minimal (< 2 ms).

---

3. Theoretische Garantien

Das Paper leitet formale Regret-Schranken (Reue-Schranken) ab:

• Reine Leistungs-basierte Variante ($\beta=1$): EARCP erreicht eine Regret-Schranke von $O(\sqrt{T \log M})$, was mit den besten bekannten Ergebnissen für Online-Lernen mit Expertenrat übereinstimmt.
• Einbeziehung von Kohärenz ($\beta < 1$): Die Integration von Kohärenz als Seiteninformation erhöht die theoretische Schranke nur um einen Faktor von $1/\beta$. In der Praxis stabilisiert dies die Gewichte jedoch und reduziert die Varianz, besonders in nicht-stationären Umgebungen, wo der Benchmark „bester Experte im Nachhinein" weniger aussagekräftig ist.

---

4. Experimentelle Evaluation

Die Evaluation umfasste drei verschiedene sequentielle Vorhersageaufgaben mit vier heterogenen Experten-Architekturen (CNN, LSTM, Transformer, DQN):

1. Zeitreihen-Prognose: Stromverbrauch (Electricity Dataset).
2. Sequenzielle Klassifikation: Menschliche Aktivitätserkennung (HAR).
3. Finanzzeitreihen: Vorhersage von Kursrichtungen und Positionsgrößen (XAUUSD, EURUSD, BTCUSD).

Vergleichsbaselines:

• Bester einzelner Experte (Oracle).
• Gleichverteilung (Equal Weighting).
• Stacking (Offline trainiertes Meta-Modell).
• Offline Mixture of Experts (MoE).
• Hedge-Algorithmus (reine Leistungsanpassung ohne Kohärenz).

Ergebnisse:
EARCP übertraf alle Baselines statistisch signifikant ($p < 0.01$):

• Elektrizität: 8,4 % niedrigerer RMSE im Vergleich zum Hedge-Algorithmus.
• HAR: 3,8 % höhere Genauigkeit als Offline MoE.
• Finanzen: 10,5 % besserer Sharpe-Ratio als Hedge.
• Robustheit: EARCP zeigte eine überlegene Anpassungsfähigkeit bei Regimewechseln (Distribution Shifts), während statische Ensembles und Offline-Methoden in diesen Phasen stark nachließen.

Ablationsstudien:

• Das Entfernen des Kohärenzterms ($\beta=1$) führte zu einem Leistungsabfall von 5–8 %.
• Das Entfernen des Floor-Constraints ($w_{min}=0$) führte zum „Weight Collapse" (alle Gewichte konzentrierten sich auf einen Experten), was die Robustheit verringerte.

---

5. Bedeutung und Anwendungsbereiche

EARCP stellt einen wichtigen Schritt in der Entwicklung adaptiver Ensemble-Methoden dar.

• Allgemeingültigkeit: Das Framework ist domänenunabhängig und für jede Aufgabe geeignet, die sequentielle Vorhersagen mit temporalen Abhängigkeiten erfordert.
• Potenzielle Anwendungen:
  • NLP: Adaptive Gewichtung von Large Language Models (LLMs) basierend auf Konsens und Aufgabenanforderungen.
  • Medizin: Kombination von Diagnosemodellen verschiedener Bildgebungsverfahren (CT, MRT), wobei Kohärenz als Sicherheitsmechanismus gegen Fehlkalibrierung dient.
  • Autonome Systeme: Dynamische Gewichtung von Wahrnehmungs- und Planungsmodulen in Robotern basierend auf Sensorzuverlässigkeit und Umgebungsbedingungen.
  • Industrielle Prozesskontrolle: Anpassung an sich ändernde Betriebsbedingungen oder Alterung von Anlagen.

Fazit:
EARCP verbindet theoretische Strenge (Sublineare Regret-Schranken) mit praktischer Robustheit. Durch die explizite Modellierung der Inter-Modell-Kohärenz gelingt es dem System, nicht nur auf vergangene Leistung zu reagieren, sondern auch auf das Vertrauen in den Konsens der Gruppe, was es besonders widerstandsfähig gegen nicht-stationäre Umgebungen macht. Der vollständige Quellcode ist als Open-Source-Bibliothek verfügbar.