Research on Enterprise Cost Prediction Method Based on Improved Informer Model

Stel je voor dat je het weer voor volgende maand probeert te voorspellen. Je kijkt naar de lucht, maar het is een chaotische bende van plotselinge stormen, vreemde hittepieken en willekeurige wolken die nergens op slaan. Als je probeert de temperatuur te raden op basis van die ruis, zul je waarschijnlijk de plank misslaan. Dit is de dagelijkse strijd van "tijdreeksvoorspelling" (time series forecasting), een tak van de wetenschap waarbij computers proberen de toekomst te voorspellen op basis van een lijn van gegevens uit het verleden. Meestal zijn deze computers als superintelligente studenten die geweldig zijn in het herkennen van patronen, maar ze raken gemakkelijk afgeleid door "ruis"—plotselinge, vreemde sprongen in de data die geen echte trends zijn, maar slechts glitches of ongelukjes.

Om dit op te lossen, hebben wetenschappers een speciaal hulpmiddel gebouwd genaamd de "Informer". Denk aan de Informer als een super-efficiënte bibliothecaris die in een seconde een miljoen boeken (datapunten) kan lezen zonder hoofdpijn te krijgen. Het gebruikt een truc genaamd "sparse attention", wat lijkt op de bibliothecaris die besluit om alleen de belangrijkste hoofdstukken van een boek te lezen om tijd te besparen, in plaats van elk woord te lezen. Echter, zelfs deze super-bibliothecaris heeft een zwakte: wanneer de data rommelig is en wild heen en weer springt (zoals bij bedrijfskosten), kan de bibliothecaris per ongeluk de meest spannende, belangrijke plotwendingen missen omdat hij probeert te efficiënt te zijn. Dit paper pakt dat specifieke probleem aan.

---

Het Probleem: Wanneer de Data Wild Wordt

Stel je voor dat jij de manager bent van een enorme fabriek. Elke dag moet je weten hoeveel geld je volgende week, volgende maand of zelfs volgend jaar gaat uitgeven. Dit wordt "voorspelling van bedrijfskosten" genoemd. Maar kostengegevens zijn rommelig. Soms schiet de prijs van een grondstof plotseling omhoog door een vertraging in de verzending, of een machine gaat onverwacht kapot. Dit zijn "extreme waarden"—plotselinge, luide ruis in de data die eruitzien als grote trends, maar eigenlijk gewoon ongelukjes zijn.

Oudere computermodellen raken in de war door deze ongelukjes. Ze denken dat een eenmalige piek in de uitgaven een nieuwe regel voor de toekomst is, wat leidt tot slechte voorspellingen. Zelfs het slimme "Informer"-model, dat normaal gesproken erg goed is in langetermijnvoorspellingen, worstelt hier de moeite mee. Het probeert efficiënt te zijn door willekeurig te kiezen op welke datapunten het zich concentreert, maar in een chaotische kostenomgeving kan het per ongeluk precies die pieken negeren die er het meest toe doen, of wordt het afgeleid door de ruis.

De Oplossing: Een Slimmere, Meer Attente Bibliothecaris

De auteurs van dit paper, Nan Ban en hun team, besloten de Informer een flinke upgrade te geven. Ze hebben niet alleen meer data tegen het model aan gesmeten; ze hebben het twee nieuwe vaardigheden geleerd om de chaos van echte zakelijke kosten te beheersen.

Vaardigheid 1: De "Noise-Canceling Koptelefoon" (Dynamische Denoising)
Eerst voegden ze een voorverwerkingsstap toe. Stel je voor dat de data een liedje is vol statische ruis en gekraak. Voordat de Informer naar het liedje luistert, zet dit nieuwe algoritme een noise-canceling koptelefoon op. Het kijkt naar de data en vraagt: "Is dit een echte trend, of gewoon een glitch?"

• Als een getal veel te hoog of te laag is vergeleken met de buren (zoals een plotselinge, onmogelijke sprong in de kosten voor kantoorbenodigdheden), verwijdert het algoritme het niet zomaar—dat zou belangrijke informatie verliezen. In plaats daarvan "vlakt het het af", zoals het voorzichtig gladstrijken van een ruwe rand zodat het beter in de curve past.
• Cruciaal is dat dit geen filter is die voor iedereen hetzelfde werkt. Het algoritme is slim genoeg om te weten dat sommige kosten (zoals grondstoffen) van nature wild en grillig zijn, terwijl andere (zoals de huur van een kantoor) rustig zijn. Het past de gevoeligheid dienovereenkomstig aan, waardoor de echte "wilde" trends behouden blijven terwijl de valse ruis wordt weggepoetst.

Vaardigheid 2: De "Spotlight op de Actie" (Volatility-Aware Sampling)
Zodra de data schoner is, moet de Informer beslissen wat hij gaat lezen. De originele Informer kiest datapunten enigszijn willekeurig om tijd te besparen. De nieuwe versie gebruikt echter een "volatility-aware" strategie.

• Denk hierbij aan een cameraman bij een concert. Als de band een langzaam, saai ballad speelt, blijft de camera stilstaan. Maar als de drummer een krankzinnige, snelle solo begint (hoge volatiliteit), zoomt de camera in en volgt elke beat.
• Het nieuwe model doet hetzelfde. Het berekent hoeveel een specifief deel van de data trilt of springt. Als een deel zeer volatiel is (veel actie), dwingt het model zichzelf om extra aandacht aan dit deel te besteden, om er zeker van te zijn dat het de belangrijke pieken niet mist. Als de data rustig is, neemt het een pauze. Dit zorgt ervoor dat het model de "plotwendingen" in het kostenverhaal vastlegt zonder overweldigd te raken.

Wat Ze Vonden: Betere Voorspellingen voor de Middellange Termijn

Het team heeft hun nieuwe "Super-Informer" getest op echte data van een tabaksbedrijf en een standaard elektriciteitsdataset. Ze vergeleken het met de originele Informer en andere modellen.

De resultaten lieten zien dat hun nieuwe methode een duidelijke winnaar is, vooral voor het voorspellen van de toekomst op de middellange termijn.

• Voor een 12-staps voorspelling (kijkenend 12 tijdstappen vooruit), verminderde het nieuwe model de fout (MSE) naar 0,3819 en de gemiddelde absolute fout (MAE) naar 0,3449. Dit was een verbetering van 2,1% en 2,2% ten opzichte van een model dat alleen de denoising-stap uitvoerde.
• Voor een 24-staps voorspelling, daalde de fout naar 0,5035 (MSE) en 0,4202 (MAE), wat een lichte maar gestage verbetering liet zien van respectievelijk 0,1% en 0,2%.

Interessant genoeg merkten de auteurs op dat voor zeer korte-termijnvoorspellingen (6 stappen), het nieuwe model iets minder nauwkeurig was dan de versie met alleen denoising. Dit komt omdat korte-termijnvoorspellingen simpel genoeg zijn dat de extra "spotlight" nog niet nodig is. Maar naarmate je verder in de toekomst kijkt, waar de ruis en volatiliteit echt van belang worden, blinkt het nieuwe model uit. Het vermijdt de "valse lage fouten" van modellen die door ruis in de war worden gebracht, en biedt een stabieler en betrouwbaarder beeld van waar de kosten naartoe gaan.

Waarom Dit Belangrijk Is

Dit is niet alleen een wiskundige oefening; het gaat erom dat bedrijven hierdoor beter kunnen slapen. Door kosten trends nauwkeurig te voorspellen, kunnen bedrijven potentiële budgetoverschrijdingen vroegtijdig signaleren en ze oplossen voordat ze rampzalig worden. De auteurs suggereren dat deze "denoising plus spotlight"-aanpak een perfect team vormt: het ene deel zuivert de data, en het andere deel focust op de meest chaotische delen van het verhaal.

Hoewel het paper laat zien dat deze resultaten solide zijn op de geteste datasets, kijken de auteurs alwever vooruit. Ze zijn van plan om nog meer factoren toe te voegen, zoals grondstofprijzen en beleidswijzigingen, om de voorspellingen nog scherper te maken. Voor nu hebben ze echter bewezen dat wanneer je een computer leert om de ruis te negeren en zich te concentreren op de echte actie, het je een veel beter verhaal over de toekomst kan vertellen.