🤖 machine learning

Designing a double deep reinforcement learning selection tool for resilient demand prediction

Dieser Artikel schlägt eine neuartige Architektur des doppelten Deep Reinforcement Learning vor, die automatisch das optimale Prognosemodell aus einem Komitee für eine resiliente Nachfrageprognose auswählt, einen neuen Early-Stopping-Mechanismus zur Beschleunigung des Trainings einsetzt und im Vergleich zu den fortschrittlichsten Methoden eine überlegene Robustheit auf Datensätzen zum Verkauf von Lebensmitteln und Snacks demonstriert.

Ursprüngliche Autoren: Bilel Abderrahmane Benziane, Benoit Lardeux, Ayoub Mcharek, Maher Jridi

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bilel Abderrahmane Benziane, Benoit Lardeux, Ayoub Mcharek, Maher Jridi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager einer riesigen Supermarktkette. Ihr größter Kopfschmerz? Genau zu wissen, wie viel von jedem Snack, jeder Limonade und jedem Müsli bestellt werden muss. Bestellen Sie zu viel, verschwenden Sie Geld an Lebensmitteln, die verderben. Bestellen Sie zu wenig, verlieren Sie Umsätze, weil die Regale leer sind.

Seit Jahrzehnten versuchen Experten, „Glaskugeln" (Prognosemodelle) zu bauen, um diese Verkäufe vorherzusagen. Das Problem ist, dass keine einzelne Glaskugel für jede Situation perfekt funktioniert. Manche sind hervorragend darin, den konstanten Absatz von Milch vorherzusagen, aber schrecklich darin, die wilden Nachfragespitzen für Party-Chips während eines großen Spiels zu prognostizieren.

Diese Arbeit stellt ein neues, intelligentes System vor, das entwickelt wurde, um dieses Problem „Welche Glaskugel soll ich verwenden?" zu lösen. Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Die Falle des „Einheitslösungs"-Ansatzes

Stellen Sie sich vor, Sie haben eine Werkzeugkiste mit sechs verschiedenen Hämmern. Einer ist ein winziger Nagelhakenhammer, einer ist ein riesiger Vorschlaghammer, und die anderen liegen dazwischen. Wenn Sie versuchen, mit dem Vorschlaghammer eine Uhr zu reparieren, werden Sie sie zerstören. Wenn Sie den Nagelhakenhammer verwenden, um einen Zaun zu bauen, werden Sie nie fertig werden.

In der Welt der Daten haben verschiedene Produkte unterschiedliche „Persönlichkeiten". Manche sind beständig, manche sind verrauscht und manche sind saisonal. Der alte Weg bestand darin, einen „besten" Hammer (Modell) auszuwählen und zu hoffen, dass er für alles funktioniert. Die Autoren sagen, dies sei eine schlechte Idee, weil sich der „beste" Hammer je nach Aufgabe ändert.

2. Die Lösung: Der „Super-Trainer" (Double Deep Reinforcement Learning)

Anstatt einen Hammer auszuwählen und dabei zu bleiben, bauten die Autoren einen Super-Trainer.

Das Team: Sie versammelten ein „Komitee" aus sechs verschiedenen KI-Modellen (die Hämmer).
Der Trainer: Sie schufen einen speziellen KI-Agenten (den Super-Trainer), dessen einzige Aufgabe es ist, das Spiel zu beobachten und zu entscheiden, gerade jetzt, welcher Hammer zu verwenden ist.
Wie es lernt: Der Trainer rät nicht einfach. Er verwendet eine Technik namens Double Deep Reinforcement Learning. Stellen Sie sich dies so vor, als hätte der Trainer zwei Gehirne, die zusammenarbeiten:
- Gehirn A (Der Spieler): Probieren verschiedene Hämmer aus und sieht, was passiert.
- Gehirn B (Der Schiedsrichter): Behält eine etwas ältere, stabilere Version der Regeln, um sicherzustellen, dass Gehirn A nicht verwirrt oder zu übermütig wird.
- Die Belohnung: Jedes Mal, wenn der Trainer den richtigen Hammer wählt und die Vorhersage genau ist, erhält er einen „Punkt" (Belohnung). Wählt er den falschen, erhält er eine Strafe. Im Laufe der Zeit lernt der Trainer, die Situation sofort zu erkennen und das perfekte Werkzeug auszuwählen.

3. Das Geheimnis: Den ganzen Überblick zu haben (CRFFNN)

Um den Trainer wirklich schlau zu machen, gaben die Autoren ihm eine spezielle Brille namens CRFFNN.

Normalerweise könnte ein Trainer nur das Ergebnis des letzten Spiels betrachten. Aber dieser Trainer betrachtet:

Die Geschichte: Die letzten 35 Tage des Verkaufs (wie wenn man die vergangene Leistung des Spielers betrachtet).
Die Meinungen des Teams: Was alle sechs Hämmer aktuell vorhersagen.

Der Trainer verwendet drei Arten von „Linsen", um diese Informationen zu verarbeiten:

Faltende Linse (Convolutional Lens): Sucht nach Mustern und Formen in den Daten (wie das Erkennen eines Trends).
Wiederkehrende Linse (Recurrent Lens): Erinnert sich an die Abfolge der Ereignisse (wie das Verständnis, dass die Verkäufe freitags steigen).
Vorwärtsgespeiste Linse (Feed-Forward Lens): Nimmt alle diese Informationen auf und trifft die endgültige Entscheidung.

Dies ermöglicht es dem Trainer, sowohl zu verstehen, was passiert, als auch wann es passiert, was ihn viel besser darin macht, das richtige Modell auszuwählen.

4. Der Zeitersparnis-Faktor: Das „Stoppschild" (Early Stopping)

Das Training dieser KI-Trainer dauert lange und kostet viel Rechenleistung. Stellen Sie sich vor, Sie üben wochenlang einen Sport, obwohl Sie bereits ihre Höchstleistung erreicht haben. Das ist eine Verschwendung.

Die Autoren fügten einen cleveren „Stoppschild"-Mechanismus hinzu. Anstatt für eine festgelegte Zeit zu trainieren, beobachtet das System den „Durchschnittspunktestand" des Trainers.

Wenn der Trainer aufhört, besser zu werden (der Punktestand flacht ab), sagt das System: „Okay, Sie sind gut genug, lassen Sie uns aufhören."
Dies spart eine enorme Menge an Zeit und Geld, ohne die Genauigkeit zu beeinträchtigen.

5. Die Ergebnisse: Hat es funktioniert?

Die Autoren testeten diesen Super-Trainer in zwei realen Szenarien:

Öffentliche Daten: Verkaufsdaten einer großen Supermarktkette (Corporación Favorita).
Private Daten: Nachfrage nach Snacks von einem echten französischen Vertriebsunternehmen.

Das Ergebnis:

Der Super-Trainer (genannt CRFFNN-ARIRBES) schlug jede andere Methode, einschließlich der einzelnen Hämmer und anderer Wege, sie zu kombinieren.
Er machte weniger Fehler (niedrigere Fehlerraten) und war konsistenter (weniger „wackelig" in seinen Ergebnissen).
Dank des „Stoppschilds" trainierte er 3 bis 4 Mal schneller als die Standardversion, sparte enorme Mengen an Rechenzeit und war dennoch die genaueste.

Zusammenfassung

Kurz gesagt, stellt diese Arbeit ein intelligentes, selbstlernendes System vor, das wie ein Meisterdirigent wirkt. Anstatt ein Instrument zu zwingen, die ganze Symphonie zu spielen, hört es auf die Musik und wählt sofort das perfekte Instrument für jede Note aus. Dies geschieht schneller und genauer als jede vorherige Methode und hilft Unternehmen, ihre Regale gefüllt zu halten, ohne Geld zu verschwenden.

Technische Zusammenfassung: Entwicklung eines Auswahlwerkzeugs auf Basis von Double Deep Reinforcement Learning für resiliente Nachfrageprognosen

Problemstellung
Der Beitrag adressiert die kritische Herausforderung der Nachfrageprognose im Supply-Chain-Management, insbesondere in volatilen Umgebungen, die durch Ereignisse wie die Pandemie und regionale Konflikte gekennzeichnet sind. Obwohl zahlreiche künstliche Intelligenz (KI)-Prognosearchitekturen existieren, erzielt keine einzelne Methode über alle Datensätze hinweg konsistent optimale Ergebnisse, da sich die Datenmerkmale hinsichtlich Saisonalität, Rauschen, Volatilität und Intermittenz unterscheiden. Traditionelle Ansätze verlassen sich häufig auf eine manuelle Expertenwahl oder eine statische Optimierung von Hyperparametern, was zeitaufwendig, fehleranfällig ist und keine Anpassung an Echtzeitverschiebungen in der Datendynamik ermöglicht. Darüber hinaus überprüfen bestehende Ensemble-Methoden die Auswahl der geeigneten Lösung nicht häufig genug, was zu einer Kumulierung von Fehlern über die Zeit führt. Das Kernproblem besteht im Fehlen eines agilen, automatisierten Mechanismus, der basierend auf dem spezifischen Zustand der Daten zu jedem gegebenen Zeitpunkt das am besten geeignete Prognosemodell aus einem Komitee von Kandidaten dynamisch auswählt.

Methodik
Die Autoren schlagen eine neuartige Architektur vor, CRFFNN-ARIRBES, die als Double Deep Reinforcement Learning (DDRL)-Agent fungiert, um die Modellauswahl zu automatisieren.

Double Deep Reinforcement Learning (DDRL)-Agent:
- Das System nutzt ein Q-Learning-Framework innerhalb eines Markov-Entscheidungsprozesses (MDP), um ein Prognosemodell aus einem „Komitee" von sechs auf neuronalen Netzen basierenden Kandidaten (FFNN, LSTM, GRU, BiLSTM, CNN und ein CNN-LSTM-Hybrid) auszuwählen.
- Um die bei Standard Deep Q-Networks häufige Überschätzung der Q-Werte zu mindern, setzen die Autoren eine Double Deep Q-Network (DDQN)-Architektur ein. Dies umfasst zwei separate Netzwerke: ein Online-Q-Netzwerk (häufig aktualisiert) und ein Target-Q-Netzwerk (periodisch aktualisiert), um eine stabile Referenz für die Aktionsauswahl zu bieten.
- Zustandsrepräsentation: Der Zustand ( $s$ ) des Agents wird durch die Konkatenation der historischen Nachfrage der letzten 35 Tage ( $d_{t-35} \dots d_{t-1}$ ) mit den prognostizierten Ausgaben aller sechs Komiteemitglieder ( $f_{t1} \dots f_{t6}$ ) konstruiert.
- Aktion: Die Aktion besteht darin, ein spezifisches Prognosemodell aus dem Komitee auszuwählen, um die finale Vorhersage für den aktuellen Zeitschritt zu generieren.
- Belohnung: Der Agent erhält eine Belohnung basierend auf dem Kehrwert des mittleren quadratischen Fehlers (MSE) zwischen den tatsächlichen und den vorhergesagten Werten, spezifisch formuliert als $1 / e^{MSE}$ , um große Fehler stärker zu bestrafen.
CRFFNN-Architektur:
- Anstelle eines einfachen Feedforward-Netzwerks nutzt das Q-Netzwerk ein Convolutional Recurrent Feed-Forward Neural Network (CRFFNN).
- Faltungsschichten: Extrahieren räumliche Merkmale aus den Eingabedaten.
- Rekurrente Schichten: Erfassen zeitliche Muster und zeitabhängige Beziehungen innerhalb der sequenziellen Daten.
- Feedforward-Schichten: Konsolidieren die extrahierten Merkmale, um sie auf den erwarteten Output (Q-Werte für jede Aktion) abzubilden.
- Diese hybride Architektur ermöglicht es dem Agenten, die komplexen räumlichen und zeitlichen Merkmale des Umweltzustands besser zu verstehen.
Average Reward Improvement Rate Based Early Stopping (ARIRBES):
- Um die mit Reinforcement Learning verbundene hohe Rechenintensität und lange Trainingszeiten zu adressieren, wird ein neuartiger Early-Stopping-Mechanismus eingeführt.
- Diese Methode glättet das Belohnungssignal mittels eines gleitenden Durchschnitts. Das Training wird gestoppt, wenn der aktuelle durchschnittliche Belohnungswert den besten historischen durchschnittlichen Belohnungswert innerhalb eines definierten „Geduld"-Fensters nicht um einen spezifischen Improvement Rate (IR)-Schwellenwert übersteigt. Dies verhindert Overfitting und reduziert die Trainingsdauer erheblich.

Hauptbeiträge

DDRL für dynamische Modellauswahl: Die Einführung einer Double Deep Reinforcement Learning-Architektur, die Prognosemodelle in Echtzeit dynamisch auswählt und dabei ein CRFFNN nutzt, um sowohl historische Nachfrage als auch Komitee-Prognosen für fundierte Entscheidungen zu verarbeiten.
ARIRBES: Die Proposal einer neuartigen Early-Stopping-Technik basierend auf der Verbesserungsrate der durchschnittlichen Belohnungen, die darauf ausgelegt ist, die Trainingszeit zu beschleunigen, ohne die Leistung zu beeinträchtigen.
Empirische Validierung: Eine strenge Evaluierung des vorgeschlagenen Ansatzes gegenüber einem Prognosekomitee und vier automatischen Modellauswahlstrategien (Ensemble-Averaging, Median, Stacking und FFNN-DDQL) unter Verwendung von zwei unterschiedlichen Datensätzen.

Experimentelle Ergebnisse
Die Studie wurde an zwei Datensätzen evaluiert: einem öffentlichen Corporación Favorita-Großhandels-Datensatz und einem privaten Kunden-Snack-Nachfragedatensatz (beide mit einem Prognosehorizont von 28 Tagen).

Leistungsmaße: Die Modelle wurden mittels Symmetric Mean Absolute Percentage Error (SMAPE) und Mean Absolute Scaled Error (MASE) bewertet.
Genauigkeit: Die vorgeschlagene CRFFNN-ARIRBES-Methode erzielte auf beiden Datensätzen den niedrigsten mittleren SMAPE und mittleren MASE im Vergleich zu einzelnen Modellen (FFNN, LSTM, GRU usw.) und anderen Auswahlstrategien (Stacking, FFNN-DDQL).
- Favorita-Datensatz: Erzielte einen mittleren SMAPE von 37,03 und einen mittleren MASE von 1,79.
- Snack-Datensatz: Erzielte einen mittleren SMAPE von 48,52 und einen mittleren MASE von 1,49.
Stabilität: Die vorgeschlagene Methode zeigte überlegene Stabilität, belegt durch die niedrigste Standardabweichung bei den Fehlermetriken und schmale Fehlerverteilungen in Violinplots über 10 verschiedene zufällige Gewichtsinitialisierungen hinweg.
Effizienz: Der ARIRBES-Early-Stopping-Mechanismus reduzierte die Trainingszeit drastisch. Für den Favorita-Datensatz sank die Trainingszeit von ~19.841 Sekunden (ohne Early Stopping) auf ~5.120 Sekunden. Für den Snack-Datensatz reduzierte sie sich von ~10.190 Sekunden auf ~2.635 Sekunden, wobei die Prognosegenauigkeit erhalten blieb oder leicht verbessert wurde.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass die vorgeschlagene Lösung einen robusten und effektiven Ansatz für das Problem „kein einzelnes Modell passt für alle" in der Nachfrageprognose bietet. Durch die Nutzung der Anpassungsfähigkeit von Reinforcement Learning und der Merkmalsextraktionsfähigkeiten von Deep Learning (CNN/RNN) kann sich das System kontinuierlich an sich ändernde Datendynamiken anpassen. Die Autoren behaupten, dass ihre Methode sowohl in Bezug auf Genauigkeit als auch Stabilität fortschrittliche statische Auswahl- und Ensemble-Methoden übertrifft.

Die Studie kommt zu dem Schluss, dass der Ansatz zwar aufgrund der Notwendigkeit, während Training und Inferenz das gesamte Komitee auszuführen, rechenintensiv ist, die Einführung der ARIRBES-Strategie den Trainingsprozess jedoch erheblich praktikabler macht. Die Autoren vermerken bescheiden, dass zukünftige Arbeiten die Einbeziehung makroökonomischer Variablen, die Segmentierung von Datensätzen in homogenere Untergruppen sowie eine weitere Optimierung der Rechenkosten für groß angelegte industrielle Anwendungen umfassen könnten.