EARCP: Self-Regulating Coherence-Aware Ensemble Architecture for Sequential Decision Making -- Ensemble Auto-Regule par Coherence et Performance

Dit artikel introduceert EARCP, een nieuw ensemble-architectuur die dynamische gewichten toekent aan heterogene modellen op basis van prestaties en onderlinge coherentie, waardoor het zich aanpast aan niet-stationaire omgevingen met gegarandeerde sublineaire regret-grenzen.

De kern

Stel je voor dat je een hoofdbeslissingscomité leidt voor een complexe taak, zoals het voorspellen van de beurs, het diagnosticeren van een ziekte of het besturen van een zelfrijdende auto. Je hebt niet één expert, maar een hele groep specialisten: een visuele expert, een tijdlijn-expert, een statistische expert en een ervaringsdeskundige.

Elke expert heeft zijn eigen sterke punten, maar ook zijn eigen zwaktes. Soms is de visuele expert perfect, maar mist hij de tijdlijn. Soms is de statistische expert geweldig, maar raakt hij in de war bij onverwachte gebeurtenissen.

De vraag is: Wie luister je op dit moment?

Het probleem met de oude methoden

Vroeger deden mensen twee dingen:

1. De statische groep: Ze gaven iedereen een vast stemgewicht. "De visuele expert krijgt altijd 30% van de stemmen." Dit werkt niet als de wereld verandert. Als de visuele expert opeens slecht wordt door een nieuwe situatie, blijft hij toch 30% van de stemmen krijgen.
2. De 'beste' expert: Ze probeerden te raden wie de beste was en luisterden alleen naar die ene persoon. Maar wat als die expert morgen faalt? Dan heb je niets meer.

De oplossing: EARCP (De Slimme Regisseur)

Deze paper introduceert EARCP. Dit is een slim systeem dat niet alleen kijkt naar hoe goed een expert het doet, maar ook naar hoe goed ze het met elkaar eens zijn.

Je kunt EARCP zien als een slimme regisseur in een theaterstuk die continu de microfoons van de acteurs regelt.

1. De twee pijlers van EARCP

De regisseur luistert naar twee signalen:

• Pijler 1: Prestatie (De Scorebord)
  De regisseur kijkt naar het scorebord. Wie heeft de afgelopen scènes de juiste tekst gezegd? Als een expert vaak fouten maakt, wordt zijn microfoon zachter gezet. Als hij goed is, wordt hij harder. Dit is de basis van elke slimme groep.

• Pijler 2: Coherentie (De Groepsdynamiek)
  Dit is het nieuwe, slimme deel van EARCP. De regisseur kijkt niet alleen naar de score, maar ook naar of de experts het met elkaar eens zijn.

  • Stel: Expert A en Expert B zeggen allebei "Het gaat regenen", terwijl Expert C zegt "Het gaat zonnig zijn".
  • Als Expert A en B vaak samen gelijk hebben, geeft het systeem hen een extra boost. Ze vormen een "betrouwbare alliantie".
  • Als Expert C alleen staat en vaak fout zit, wordt zijn stem gedempt, zelfs als hij toevallig deze keer gelijk had.

2. Waarom is dit zo krachtig? (De Analogie van de Weerwaarschuwing)

Stel je voor dat je een weersvoorspelling moet doen.

• Expert A kijkt naar de wolken (goed bij zonnige dagen).
• Expert B kijkt naar de windrichting (goed bij stormen).
• Expert C kijkt naar de vogels (soms raar, soms slim).

In een statisch systeem zou je altijd naar alle drie luisteren.
In EARCP gebeurt dit:

• Als de wolken en de wind het met elkaar eens zijn dat er storm komt, en Expert C zegt "zonnig", dan negeert EARCP Expert C volledig. De "coherentie" (de overeenstemming) tussen A en B maakt hun voorspelling superbetrouwbaar.
• Als de wereld verandert (bijvoorbeeld een plotselinge hittegolf), en Expert A faalt, maar Expert B en C opeens het met elkaar eens zijn over een nieuwe trend, dan schakelt EARCP snel over. Het systeem is dynamisch. Het past zich aan in real-time, zonder dat je het handmatig hoeft te herschrijven.

3. De "Veiligheidsnet" (Exploratie)

Een heel belangrijk detail in dit systeem is dat de regisseur nooit een expert volledig stilzet.
Zelfs als een expert slecht presteert, krijgt hij een heel klein beetje stemrecht (een "vloer" van 5%).

• Waarom? Omdat de wereld verandert. Misschien was Expert C gisteren slecht, maar is hij vandaag de enige die een nieuwe trend ziet. Als je hem volledig had uitgeschakeld, zou je die kans missen. Dit zorgt ervoor dat het systeem altijd openstaat voor nieuwe ideeën.

Wat levert dit op?

De paper toont aan dat dit systeem (EARCP) beter werkt dan:

• Het luisteren naar één "beste" expert.
• Het statisch combineren van experts.
• Alleen kijken naar de score (zonder naar de groep te kijken).

Het werkt vooral goed in onrustige tijden (zoals de beurs, medische diagnoses of zelfrijdende auto's), waar de regels van het spel constant veranderen. Het systeem is als een robuuste bemanningsgroep op een schip: ze luisteren naar wie de beste navigatie heeft, maar ze vertrouwen ook op wie het meest met elkaar overeenkomt, zodat ze niet in paniek raken als één persoon een fout maakt.

Samenvatting in één zin

EARCP is een slimme manier om een team van experts te leiden, waarbij je niet alleen kijkt naar wie de meeste punten scoort, maar ook naar wie het meest met elkaar eens is, zodat je altijd de beste beslissing neemt, zelfs als de wereld verandert.

Technische samenvatting

Titel: EARCP: Een Zelfregulerende, Coherentie-bewuste Ensemble-Architectuur voor Sequentiële Besluitvorming

Auteur: Mike Amega (Onafhankelijk Onderzoeker)
Datum: December 2025

---

1. Probleemstelling

Traditionele ensemble-methoden in het machine learning combineren voorspellingen van meerdere modellen om de generalisatie te verbeteren. De meeste bestaande methoden (zoals Stacking of vaste gewichten) maken echter gebruik van statische combinatiestrategieën. Dit leidt tot drie fundamentele uitdagingen in sequentiële besluitvormingssituaties:

1. Non-stationariteit: De onderliggende data-verdeling verandert in de tijd. Modellen die in het verleden betrouwbaar waren, kunnen degradëren, terwijl andere verbeteren. Statische gewichten kunnen deze dynamiek niet volgen.
2. Heterogeniteit: Verschillende modelarchitecturen (bijv. CNN, LSTM, Transformers) hebben complementaire sterke en zwakke punten. Effectief benutten van deze diversiteit vereist geavanceerde combinatiestrategieën.
3. Gedeeltelijke feedback: In veel toepassingen wordt de kwaliteit van een voorspelling pas na een aanzienlijke vertraging bekend, wat het aanpassingsproces van gewichten bemoeilijkt.

Bestaande oplossingen zoals Mixture of Experts (MoE) vereisen vaak offline training van meta-learners, terwijl online leeralgoritmen (zoals Hedge) inter-model relaties negeren die de robuustheid zouden kunnen vergroten.

2. Methodologie: Het EARCP Framework

EARCP (Ensemble Auto-Régulé par Cohérence et Performance) is een nieuw ensemble-architectuur dat dynamisch gewichten toewijst aan heterogene expert-modellen op basis van twee factoren: individuele prestatie en inter-model coherentie.

Kerncomponenten:

• Prestatie-score ($P_{i,t}$): Een exponentiële voortschrijdende gemiddelde (EMA) van de negatieve verliezen van elk model. Dit zorgt voor een adaptief beeld van de recente nauwkeurigheid.

• Coherentie-score ($C_{i,t}$): Een maat voor overeenstemming tussen modellen.

  • Voor classificatie: Het percentage andere experts dat dezelfde klasse voorspelt.
  • Voor regressie: Gebaseerd op correlatie of inverse afstand tussen voorspellingen.
  • Ook hier wordt een EMA gebruikt voor stabiliteit.

• Gewichtsupdate-mechanisme:
  De uiteindelijke score $s_{i,t}$ voor expert $i$ is een gewogen som van de genormaliseerde prestatie- en coherentiescores:
  $$s_{i,t} = \beta \cdot \tilde{P}_{i,t} + (1 - \beta) \cdot \tilde{C}_{i,t}$$
  Waarbij $\beta \in [0, 1]$ de balans bepaalt tussen exploitatie (prestatie) en exploratie/robustheid (coherentie).

  De gewichten worden vervolgens bijgewerkt via een multiplicatieve regel met een gevoeligheidsparameter $\eta_s$, met toegevoegde stabilisatietechnieken:

  1. Exponentiële transformatie: $\tilde{w}_{i,t} = \exp(\eta_s \cdot s_{i,t})$.
  2. Normalisatie: Zodat de som van de gewichten 1 is.
  3. Vloer-beperking (Floor Constraint): Een minimumgewicht $w_{min}$ wordt afgedwongen om te voorkomen dat modellen volledig worden uitgeschakeld (exploratie behouden).

3. Belangrijkste Bijdragen

1. Unificatie Framework: Een formeel raamwerk dat prestatie-gebaseerde adaptie combineert met coherentie-bewuste weging, waardoor zowel exploitatie als exploratie mogelijk is.
2. Theoretische Garanties: Bewezen dat EARCP een regret-bound van $O(\sqrt{T \log M})$ bereikt. Dit komt overeen met de beste bekende resultaten voor online learning met expert advies, zelfs met de toevoeging van coherentie-signalen.
3. Praktisch Algorithmus: Een computerefficiënte implementatie met stabilisatietechnieken (normalisatie, clipping, vloer-constraints) die robuustheid garandeert in niet-stationaire omgevingen.
4. Empirische Validatie: Uitgebreide experimenten tonen superieure prestaties aan vergeleken met statische ensembles, offline getrainde meta-learners en single-model baselines.
5. Open Source: Een volledige Python-bibliotheek is beschikbaar voor reproduceerbaarheid.

4. Experimentele Resultaten

Het framework werd getest op drie verschillende domeinen: elektriciteitsverbruik (tijdreeks), menselijke activiteitsherkenning (HAR) en financiële tijdreeksen.

• Vergelijking: EARCP presteerde consistent beter dan baselines zoals "Best Single Expert", "Equal Weighting", "Stacking", "Offline MoE" en het pure "Hedge"-algoritme.
• Kerncijfers:
  • Elektriciteit: 8,4% lagere RMSE vergeleken met het Hedge-algoritme.
  • HAR: 3,8% hogere nauwkeurigheid vergeleken met Offline MoE.
  • Financieel: 10,5% betere Sharpe-ratio vergeleken met Hedge.
• Ablatie Studies:
  • Het verwijderen van coherentie ($\beta=1$) leidde tot een prestatiedaling van 5-8%.
  • Het verwijderen van de vloer-constraint ($w_{min}=0$) veroorzaakte "weight collapse" naar één expert, wat de robuustheid verminderde.
  • Coherentie bleek cruciaal om de gewichten te stabiliseren tijdens periodes van onzekerheid of regime-wisselingen.

5. Betekenis en Toepassingsgebied

EARCP biedt een algemeen doelmatig raamwerk voor elk domein dat ensemble learning vereist met temporele afhankelijkheden. De architectuur is bijzonder waardevol in situaties met:

• Niet-stationaire omgevingen: Waar modelbetrouwbaarheid over tijd fluctueert.
• Heterogene experts: Waar verschillende modeltypen verschillende soorten fouten maken.
• Hoge risico's: Waar robuuste aggregatie van signalen essentieel is.

Potentiële toepassingen:

• Financiële voorspelling: Dynamische aanpassing aan marktschommelingen.
• NLP: Adaptieve weging van grote taalmodellen (LLMs) op basis van query-karakteristieken.
• Medische diagnose: Combinatie van modellen voor verschillende beeldvormende technieken (CT, MRI) waarbij coherentie overbelasting op één model voorkomt.
• Autonome systemen: Dynamische weging van perceptie- en planningsmodules in robots of voertuigen.

Conclusie

EARCP introduceert een nieuwe standaard voor ensemble learning door de theoretische sterkte van online learning te combineren met een pragmatische, coherentie-gedreven aanpak. Het biedt niet alleen theoretische garanties voor lage regret, maar demonstreert ook in de praktijk aanzienlijke verbeteringen in nauwkeurigheid en stabiliteit, vooral in dynamische en complexe omgevingen. De open-source implementatie maakt directe adoptie en verdere ontwikkeling mogelijk.