Technische Samenvatting: ForecastCompass (FOCO)

Probleemstelling

Agentic forecasting (agent-gestuurde voorspelling) houdt in dat Large Language Model (LLM) agents gekalibreerde probabilistische voorspellingen doen over toekomstige gebeurtenissen met behulp van onvolledige en tijdgebonden bewijslast. Hoewel LLM-agents uitblinken in informatievergaring en redeneren, worden ze geconfronteerd met aanzienlijke uitdagingen in dynamische voorspellingsomgevingen. Specifiek moeten agents redeneren vanuit evoluerend bewijs en gekalibreerde waarschijnlijkheden produceren voordat de uitkomsten definitief zijn.

Bestaande geheugenmechanismen voor LLM-agents zijn primair ontworpen voor taken zoals vraagbeantwoording of probleemoplossing. Deze methoden slaan doorgaans eerdere interacties, reflecties of feitelijke associaties op. Ze zijn echter slecht geschikt voor forecasting omdat ze er niet in slagen om herbruikbare voorspellende factoren of kalibratiekennis expliciet te representeren. Een generiek geheugen kan opslaan dat een app "sterke merkbekendheid" heeft, maar het faalt in het onderscheid maken tussen of dit statische signaal informatief is voor korte termijn rangschikkingen, of dat het behandeld moet worden als een misleidend signaal dat een lagere mate van vertrouwen rechtvaardigt. Forecasting vereist een geheugen dat in staat is om voorspellende factoren te abstraheren, misleidende signalen te filteren en onzekerheid te kalibreren voordat de uitkomsten bekend zijn, in plaats van simpelweg eerdere antwoorden of gebeurtenis-specifieke trajecten op te halen.

Methodologie: ForecastCompass (FOCO)

De auteurs stellen ForecastCompass (FOCO) voor, een adaptief factor-gebaseerd geheugenframework dat specifiek is ontworpen voor agentic forecasting. FOCO organiseert forecasting-ervaringen in een hiërarchische structuur en werkt deze chronologisch bij met behulp van retrospectieve analyses als leersignalen.

1. Hiërarchische Representatie van Forecasting-geheugen

FOCO organiseert het geheugen met behulp van een forecasting-taxonomie bestaande uit categorieën en fijnmazige subcategorieën. Voor elke subcategorie $s$ onderhoudt het systeem een verbale geheugenstatus $M_s = (F_s, R_s)$, bestaande uit twee complementaire componenten:

• Factorgeheugen ($F_s$): Een set vermeldingen die herbruikbare voorspellende dimensies beschrijft. Elke vermelding bevat de factornaam, specifieke bewijscontroles, veelvoorkomende foutmodi en het typische effect van de factor op de voorspellingskansen. Dit stuurt de agent aan bij het identificeren van relevante bewijslast en het vermijden van misleidende patronen.
• Redeneergeheugen ($R_s$): Een collectie kalibratie-georiënteerde principes. Deze component codeert hoe vertrouwen moet worden aangepast onder verschillende bewijsvoorwaarden, waarbij rekening wordt gehouden met onzekerheid, conflicterende signalen en incomplete informatie. Het stuurt de kansinschatting aan in plaats van enkel de factorselectie.

2. Geheugen-geaugmenteerde Inferentie

Tijdens de inferentie wordt een onopgeloste vraag geclassificeerd in een specifieke subcategorie. De agent haalt de corresponderende $F_s$ en $R_s$ op om het proces te sturen:

• Het Factorgeheugen stuurt de zoektocht naar bewijs en de factorselectie aan, waarbij de nadruk ligt op voorspellende signalen en waarschuwingen tegen misleidende patronen.
• Het Redeneergeheugen biedt kalibratieprincipes voor het vertalen van de sterkte van het bewijs naar probabilistische voorspellingen, wat helpt bij het beheersen van overmoed of onderbezinning.

3. Iteratieve Geheugenrevisie via Contrastief Leren

FOCO werkt het geheugen chronologisch bij met behulp van opgeloste forecasting-taken. Het updateproces omvat een diagnose–aggregatie–revisie procedure:

1. Retrospectieve Trajectgeneratie: Nadat een vraag is opgelost, genereert de agent een retrospectief traject ($z^{retro}$) met behulp van bewijs na de oplossing. Dit dient als een "ground truth" leersignaal.
2. Contrastieve Diagnose: Het systeem contrasteert het oorspronkelijke forecasting-traject ($z$) met het retrospectieve traject ($z^{retro}$) om discrepanties ($\Delta$) te identificeren.
   • $\Delta^F$: Discrepanties op factorniveau (bijv. ontbrekende factoren, overmatig gebruik van misleidende signalen).
   • $\Delta^R$: Discrepanties op redeneerniveau (bijv. miskalibratie, incorrecte kansupdates).
3. Aggregatie en Revisie: Het systeem aggregeert deze discrepanties over meerdere gebeurtenissen binnen een subcategorie om gebeurtenis-specifieke achteraf-kennis (ruis) te filteren en terugkerende patronen te identificeren. Vervolgens reviseert het de verbale geheugenvermeldingen om deze overdraagbare voorspellende factoren en kalibratieprincipes op te nemen, waarbij expliciet wordt voorkomen dat gebeurtenis-specifieke uitkomsten of data worden opgeslagen.

Belangrijkste Bijdragen

1. Factor-centrische Geheugenformulering: Het artikel introduceert een geheugenarchitectuur die georganiseerd is rond subcategorie-niveau voorspellende factoren en kalibratie-georiënteerde redeneerpatronen, wat verschilt van gebeurtenis-specifieke trajecten of generieke reflecties.
2. Verbale Factor-geheugen Revisie: De auteurs ontwikkelen een iteratieve procedure die retrospectieve analyses als leersignalen behandelt. Dit proces diagnosticeert discrepanties tussen voorspellingen en uitkomsten, aggregeert deze om terugkerende patronen te vinden, en reviseert het geheugen tot overdraagbare abstracties terwijl gebeurtenis-specifieke achteraf-kennis wordt uitgesloten.
3. Empirische Validatie: Het framework wordt geëvalueerd op dynamische forecasting-benchmarks (Prophet Arena en FutureX) met behulp van GPT-5-mini en Gemini-2.5-Flash.

Experimentele Resultaten

Experimenten tonen aan dat FOCO zowel de probabilistische nauwkeurigheid als de kalibratie verbetert ten opzichte van diverse baselines:

• Prestaties: FOCO behaalt consistent de laagste gemiddelde Brier-scores en Expected Calibration Error (ECE) over beide datasets en backbone-modellen. Het presteert beter dan non-memory baselines (BASE), statische geheugenvarianten (FOCO Static) en algemene agent-geheugen baselines (MEM0, REFLEXION, A-MEM, GRAPHITI).
• Iteratieve Verbetering: Het volledige FOCO-framework presteert beter dan de statische versie, wat aangeeft dat wekelijkse geheugenrevisie de voorspellende factoren en redeneerpatronen effectief verfijnt naarmate nieuwe uitkomsten beschikbaar komen.
• Overdraagbaarheid:
  • Door de tijd heen: Geheugen geconstrueerd uit eerdere weken verbetert de forecasting-prestaties in latere weken, wat aantoont dat de geleerde factoren en kalibratieprincipes relevant blijven terwijl onderwerpen evolueren.
  • Tussen modellen: Geheugen geconstrueerd met één model (bijv. Gemini-2.5-Flash) verbetert succesvol de prestaties van een ander backbone-model (bijv. GPT-5-mini), wat suggereert dat de gevangen kennis niet overfit is op een specifieke modelarchitectuur.
• Geheugenkwaliteit: Een evaluatie via "LLM-as-a-Judge" laat zien dat FOCO-geheugen hoger scoort op generaliseerbaarheid, nieuwheid, volledigheid, nauwkeurigheid en actiegerichtheid vergeleken met andere geheugenmethoden, wat bevestigt dat het bruikbare forecasting-kennis vastlegt in plaats van specifieke gebeurtenisdetails.

Betekenis en Claims

Het artikel claimt dat effectief forecasting-geheugen verder moet gaan dan het opslaan van eerdere interacties of antwoorden. In plaats daarvan moet het herbruikbare voorspellende factoren en kalibratieprincipes abstraheren die agents begeleiden in open-world settings waar bewijs ongestructureerd en evoluerend is.

FOCO adresseert de kloof in bestaande agent-geheugendesigns door voorspellende signalen expliciet te scheiden van redeneerpatronen en door contrastieve retrospectieve analyse te gebruiken om deze abstracties iteratief te verfijnen. De resultaten suggereren dat het organiseren van geheugen rond factor-niveau kennis en kalibratieregels het mogelijk maakt voor agents om over de tijd heen overdraagbare forecasting-expertise te accumuleren, wat leidt tot nauwkeurigere en beter gekalibreerde probabilistische voorspellingen in dynamische omgevingen. Het werk benadrukt dat het simpelweg ophalen van eerdere agent-ervaringen onvoldoende is; de geheugenstructuur zelf moet worden afgestemd op de specifieke eisen van probabilistische forecasting onder onzekerheid.