🤖 machine learning

ForecastCompass: Guiding Agentic Forecasting with Adaptive Factor Memory

ForecastCompass (FoCo) ist ein adaptives faktorbasiertes Gedächtnis-Framework, das die agentische Prognose verbessert, indem es Erfahrungen in wiederverwendbare prädiktive Faktoren und Denkprinzipien organisiert, was es Agenten ermöglicht, ihre probabilistische Genauigkeit und Kalibrierung durch retrospektive Analysen iterativ zu verfeinern.

Ursprüngliche Autoren: Yurui Chang, Yongkang Du, Yuanpu Cao, Jinghui Chen, Lu Lin

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yurui Chang, Yongkang Du, Yuanpu Cao, Jinghui Chen, Lu Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein professioneller Wettervorhersager. In den alten Zeiten hätten Sie vielleicht einfach in den Himmel geschaut und geraten. Heute haben Sie einen superintelligenten Assistenten (einen KI-Agenten), der Millionen von Nachrichtenartikeln lesen, historische Daten prüfen und mit Experten sprechen kann, um eine Vorhersage zu treffen.

Aber hier liegt das Problem: Selbst superintelligente Assistenten machen immer wieder die gleichen Fehler. Sie könnten sich zu sehr auf einen sonnigen Tag freuen, nur weil der Himmel blau ist, und dabei ignorieren, dass sich tatsächlich ein Sturm zusammenbraut. Oder sie könnten vergessen, dass „Popularität“ nicht immer gleichbedeutend mit „Erfolg“ im Kurzzeitverlauf ist.

Das Paper „ForecastCompass“ stellt eine neue Methode vor, wie man diesen KI-Assistenten beibringen kann, aus seinen vergangenen Fehlern zu lernen, ohne einfach nur spezifische Antworten auswendig zu lernen. Man kann es sich so vorstellen, als würde man der KI statt eines statischen Lexikons einen persönlichen, sich ständig weiterentwickelnden „Vorhersage-Kompass“ geben.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Die Falle des „generischen Gedächtnisses“

Stellen Sie sich vor, Sie fragen eine KI: „Wird diese neue Musik-App populär werden?“

Der alte Weg (Generisches Gedächtnis): Die KI schaut in ihre Notizen und sieht: „Diese App hat großartige Bewertungen und eine berühmte Marke.“ Sie schließt daraus: „Ja, sie wird die Nummer 1!“
Der Fehler: Das ist so, als würde man ein Rennpferd nur nach seinem glänzenden Fell beurteilen. Die KI hat die wahren Treiber übersehen: Wird sie heute auf der Startseite beworben? Ist gerade ein Konkurrent abgestürzt? Gibt es eine plötzliche Werbekampagne?
Das Ergebnis: Die KI liegt falsch, weil sie sich auf „statische“ Fakten (die Marke) verlassen hat anstatt auf „dynamische“ Faktoren (was gerade jetzt passiert).

2. Die Lösung: Der „Kompass“ (FOCO)

Die Autoren haben FOCO (ForecastCompass) entwickelt. Anstatt nur zu speichern, „was passiert ist“, lehrt FOCO die KI, wie man denkt. Es organisiert das Wissen in zwei speziellen Arten von „Gedächtnis“:

A. Die „Faktoren-Karte“ (Worauf man achten muss)

Dies ist wie eine Checkliste von Hinweisen.

Anstatt sich zu merken: „App X ist gescheitert“, merkt sich das Gedächtnis: „Wenn man App-Rankings vorhersagt, prüfe immer auf ‚aktuelles Momentum‘ und ‚Plattform-Präsenz‘, nicht nur auf ‚Gesamtanzahl der Downloads‘.“
Es merkt sich auch Fallen: „Vertraue nicht auf ‚positive Bewertungen‘, wenn die App seit einem Monat nicht mehr aktualisiert wurde.“
Analogie: Es ist wie das Notizbuch eines Detektivs, das nicht nur Verdächtige auflistet, sondern listet, welche Art von Beweisen tatsächlich den Fall lösen.

B. Der „Konfidenz-Regler“ (Wie sicher man sein sollte)

Dies ist wie ein Lautstärkeregler für die Gewissheit.

Die KI lernt Regeln wie: „Wenn die Beweise hauptsächlich aus alten Nachrichten bestehen, drehe den Konfidenz-Regler runter.“ oder „Wenn zwei verschiedene Quellen übereinstimmen, kannst du den Konfidenz-Regler hochdrehen.“
Analogie: Es ist wie ein Trainer, der einem Spieler sagt: „Setze nicht deinen ganzen Gehaltsscheck auf diesen Spielzug, außer du siehst die Pfeife des Schiedsrichters.“

3. Wie es lernt: Die „Post-Game-Analyse“

Dies ist der magische Teil. Das System rät nicht einfach nur und macht dann weiter. Es hat einen speziellen Überprüfungsprozess:

Die Vorhersage: Die KI stellt eine Vermutung basierend auf den zum Zeitpunkt der Vorhersage verfügbaren Informationen an.
Der Realitätscheck: Später, wenn das Ereignis tatsächlich eintritt, blickt die KI mit allen neuen Informationen zurück (die „retrospektive“ Sicht).
Die Diagnose: Die KI vergleicht ihre ursprüngliche Vermutung mit der Realität.
- Hat sie einen wichtigen Hinweis übersehen? (z. B. „Ich habe vergessen, die Werbekampagne des Konkurrenten zu prüfen.“)
- War sie zu selbstbewusst? (z. B. „Ich dachte, die Bewertungen würden ausreichen, aber das taten sie nicht.“)
Das Update: Die KI schreibt nicht einfach nur auf: „Ich lag bei App X falsch.“ Stattdessen aktualisiert sie ihre Faktoren-Karte und ihren Konfidenz-Regler.
- Neue Regel hinzugefügt: „Prüfe bei App-Rankings immer die Werbung der Konkurrenten.“
- Neue Regel hinzugefügt: „Vertraue bei Kurzzeitprognosen nicht allein auf Bewertungen.“

4. Das Ergebnis: Ein klügerer, gelassenerer Vorhersager

Die Autoren haben dies bei realen Vorhersage-Herausforderungen getestet (wie Sport, Politik und Markttrends).

Genauigkeit: Die KI mit dem „Kompass“ lieferte genauere Vorhersagen als eine KI ohne ihn.
Kalibrierung: Die KI wurde besser darin, zu wissen, wie sicher sie sich sein sollte. Sie hörte auf, bei schwacher Evidenz übermäßig selbstbewusst zu sein, und wurde sich sicherer, wenn die Beweise stark waren.
Übertragbarkeit: Das Beste daran? Die gelernten Lektionen aus einem Bereich (wie Sport) halfen der KI, auch in anderen Bereichen (wie Politik) besser zu werden. Der „Kompass“ ist ein allgemeines Werkzeug des Denkens, nicht nur eine Liste von Fakten.

Zusammenfassung

ForecastCompass ist wie ein Mentor für eine KI.

Ohne den Mentor: Die KI rät, scheitert und vergisst, und wiederholt dabei dieselben Fehler.
Mit dem Mentor (FOCO): Die KI rät, erhält eine Post-Game-Analyse und aktualisiert ihr internes „Regelwerk“ darüber, welche Hinweise wichtig sind und wie man sie gewichtet. Mit der Zeit wird sie zu einem Meister-Vorhersager, der nicht nur weiß, was er vorhersagen soll, sondern auch, wie er über Unsicherheit nachdenkt.

Technisches Resümee: ForecastCompass (FOCO)

Problemstellung

Agentische Prognostik (Agentic Forecasting) beinhaltet die Aufgabe für LLM-Agenten, kalibrierte probabilistische Vorhersagen über zukünftige Ereignisse zu treffen, während sie auf unvollständige und zeitlich begrenzte Evidenz angewiesen sind. Obwohl LLM-Agenten exzellent in der Informationsbeschaffung und im logischen Schließen sind, stehen sie vor erheblichen Herausforderungen in dynamischen Prognoseumgebungen. Insbesondere müssen Agenten aus sich entwickelnder Evidenz schlussfolgern und kalibrierte Wahrscheinlichkeiten produzieren, bevor die Ergebnisse tatsächlich eintreten.

Bestehende Gedächtnismechanismen für LLM-Agenten sind primär für Aufgaben der Fragebeantwortung oder Problemlösung konzipiert. Diese Methoden speichern typischerweise vergangene Interaktionen, Reflexionen oder faktische Assoziationen. Sie sind jedoch für die Prognostik ungeeignet, da sie versäumen, wiederverwendbare prädiktive Faktoren oder Kalibrierungswissen explizit darzustellen. Ein generisches Gedächtnis mag speichern, dass eine App über eine „starke Markenbekanntheit“ verfügt, aber es versäumt zu unterscheiden, ob dieses statische Signal informativ für kurzfristige Rangänderungen ist oder ob es als irreführendes Signal behandelt werden sollte, das eine geringere Konfidenz erfordert. Prognostik erfordert ein Gedächtnis, das in der Lage ist, prädiktive Faktoren zu abstrahieren, irreführende Signale zu filtern und Unsicherheit zu kalibrieren, bevor die Ergebnisse bekannt sind, anstatt lediglich vergangene Antworten oder ereignisbezogene Trajektorien abzurufen.

Methodik: ForecastCompass (FOCO)

Die Autoren schlagen ForecastCompass (FOCO) vor, ein adaptives, faktenbasiertes Gedächtnis-Framework, das speziell für die agentische Prognostik entwickelt wurde. FOCO organisiert die Prognoseerfahrung in einer hierarchischen Struktur und aktualisiert diese chronologisch unter Verwendung retrospektiver Analysen als Lernsignale.

1. Hierarchische Repräsentation des Prognosegedächtnisses

FOCO organisiert das Gedächtnis mithilfe einer Prognose-Taxonomie, die aus Kategorien und feingliedrigen Unterkategorien besteht. Für jede Unterkategorie $s$ pflegt das System einen verbalen Gedächtniszustand $M_s = (F_s, R_s)$ , der aus zwei komplementären Komponenten besteht:

Faktor-Gedächtnis ( $F_s$ ): Eine Menge von Einträgen, die wiederverwendbare prädiktive Dimensionen beschreiben. Jeder Eintrag enthält den Faktornamen, spezifische Evidenzprüfungen, häufige Fehlermodi und die typische Auswirkung des Faktors auf die Prognosewahrscheinlichkeiten. Dies leitet den Agenten bei der Identifizierung relevter Evidenz an und warnt vor irreführenden Mustern.
Reasoning-Gedächtnis ( $R_s$ ): Eine Sammlung von kalibrierungsorientierten Prinzipien. Diese Komponente kodiert, wie die Konfidenz unter verschiedenen Evidenzbedingungen angepasst werden sollte, wobei Unsicherheit, widersprüchliche Signale und unvollständige Informationen berücksichtigt werden. Es leitet die Wahrscheinlichkeitsschätzung anstatt nur die Faktorauswahl.

2. Gedächtnisgestützte Inferenz

Während der Inferenz wird eine ungelöste Frage einer spezifischen Unterkategorie zugeordnet. Der Agent ruft das entsprechende $F_s$ und $R_s$ ab, um seinen Prozess zu steuern:

Das Faktor-Gedächtnis leitet die Suche nach Evidenz und die Faktorauswahl an, wobei der Schwerpunkt auf prädiktiven Signalen liegt und vor irreführenden Mustern gewarnt wird.
Das Reasoning-Gedächtnis liefert Kalibrierungsprinzipien für die Übersetzung der Evidenzstärke in probabilistische Prognosen und hilft dabei, Über- oder Unterkonfidenz zu managen.

3. Iterative Gedächtnisrevision durch kontrastives Lernen

FOCO aktualisiert sein Gedächtnis chronologisch anhand gelöster Prognoseaufgaben. Der Aktualisierungsprozess umfasst ein Diagnose–Aggregations–Revisions-Verfahren:

Retrospektive Trajektoriengenerierung: Nachdem eine Frage gelöst wurde, generiert der Agent eine retrospektive Trajektorie ( $z^{retro}$ ) unter Verwendung der Evidenz nach der Auflösung. Dies dient als „Ground Truth“-Lernsignal.
Kontrastive Diagnose: Das System kontrastiert die ursprüngliche Prognose-Trajektorie ( $z$ $z$ ) mit der retrospektiven Trajektorie ( $z^{retro}$ $z^{r e t r o}$ ), um Diskrepanzen ( $\Delta$ $Δ$ ) zu identifizieren.
- $\Delta^F$ : Faktorebene-Diskrepanzen (z. B. fehlende Faktoren, übermäßig genutzte irreführende Signale).
- $\Delta^R$ : Reasoning-Ebene-Diskrepanzen (z. B. Fehlkalibrierung, inkorrekte Wahrscheinlichkeitsaktualisierungen).
Aggregation und Revision: Das System aggregiert diese Diskrepanzen über mehrere Ereignisse innerhalb einer Unterkategorie hinweg, um ereignisspezifische Rückschaufehler (Rauschen) zu filtern und wiederkehrende Muster zu identifizieren. Anschließend revidiert es die verbalen Gedächtniseinträge, um diese transferierbaren prädiktiven Faktoren und Kalibrierungsprinzipien zu integrieren, wobei die Speicherung von ereignisspezifischen Ergebnissen oder Daten explizit vermieden wird.

Zentrale Beiträge

Faktor-zentrierte Gedächtnisformulierung: Die Arbeit führt eine Gedächtnisarchitektur ein, die um Unterkategorie-basierte prädiktive Faktoren und kalibrierungsorientierte Reasoning-Muster organisiert ist, was sich deutlich von ereignisbasierten Trajektorien oder generischen Reflexionen unterscheidet.
Verbale Faktor-Gedächtnisrevision: Die Autoren entwickeln ein iteratives Verfahren, das retrospektive Analysen als Lernsignale nutzt. Dieser Prozess diagnostiziert Diskrepanzen zwischen Prognosen und Ergebnissen, aggregiert diese, um wiederkehrende Muster zu finden, und revidiert das Gedächtnis zu transferierbaren Abstraktionen, während ereignisspezifische Rückschau-Informationen ausgeschlossen werden.
Empirische Validierung: Das Framework wird auf dynamischen Prognose-Benchmarks (Prophet Arena und FutureX) unter Verwendung von GPT-5-mini und Gemini-2.5-Flash evaluiert.

Experimentelle Ergebnisse

Experimente zeigen, dass FOCO die probabilistische Genauigkeit und Kalibrierung im Vergleich zu verschiedenen Baselines verbessert:

Performance: FOCO erzielt konsistent die niedrigsten durchschnittlichen Brier-Scores und den geringsten Expected Calibration Error (ECE) über beide Datensätze und Backbone-Modelle hinweg. Es übertrifft Nicht-Gedächtnis-Baselines (BASE), statische Gedächtnisvarianten (FOCO Static) sowie allgemeine Agent-Memory-Baselines (MEM0, REFLEXION, A-MEM, GRAPHITI).
Iterative Verbesserung: Das vollständige FOCO-Framework schneidet besser ab als die statische Version, was zeigt, dass die wöchentliche Gedächtnisrevision die prädiktiven Faktoren und Reasoning-Muster effektiv verfeinert, sobald neue Ergebnisse verfügbar werden.
Transferierbarkeit:
- Über die Zeit: Ein in früheren Wochen konstruiertes Gedächtnis verbessert die Prognoseleistung in späteren Wochen, was zeigt, dass die gelernten Faktoren und Kalibrierungsprinzipien relevant bleiben, während sich Themen entwickeln.
- Über Modelle hinweg: Mit einem Modell (z. B. Gemini-2.5-Flash) konstruiertes Gedächtnis verbessert erfolgreich die Leistung eines anderen Backbones (z. B. GPT-5-mini), was darauf hindeutet, dass das erfasste Wissen nicht auf eine spezifische Modellarchitektur überoptimiert ist.
Gedächtnisqualität: Eine LLM-as-a-Judge-Evaluation zeigt, dass das FOCO-Gedächtnis im Vergleich zu anderen Gedächtnismethoden höher auf Generalisierbarkeit, Neuartigkeit, Vollständigkeit, Genauigkeit und Handlungsfähigkeit bewertet wird, was bestätigt, dass es wiederverwendbares Prognosewissen statt spezifischer Ereignisdetails erfasst.

Bedeutung und Ansprüche

Das Paper behauptet, dass effektives Prognosegedächtnis über das bloße Speichern vergangener Interaktionen oder Antworten hinausgehen muss. Stattdessen muss es wiederverwendbare prädiktive Faktoren und Kalibrierungsprinzipien abstrahieren, die Agenten in Open-World-Settings leiten, in denen Evidenz unstrukturiert und sich entwickelnd ist.

FOCO adressiert die Lücke in bestehenden Agent-Memory-Designs, indem es prädiktive Signale explizit von Reasoning-Mustern trennt und durch kontrastive retrospektive Analyse iterativ diese Abstraktionen verfeinert. Die Ergebnisse legen nahe, dass die Organisation des Gedächtnisses um Faktoren-Ebene und Kalibrierungsregeln es Agenten ermöglicht, über die Zeit hinweg transferierbare Prognose-Expertise zu akkumulieren, was zu genaueren und besser kalibrierten probabilistischen Vorhersagen in dynamischen Umgebungen führt. Die Arbeit verdeutlicht, dass das bloße Abrufen vergangener Agenten-Erfahrungen unzurereichend ist; die Gedächtnisstruktur selbst muss auf die spezifischen Anforderungen der probabilistischen Prognose unter Unsicherheit zugeschnitten sein.