Stellen Sie sich vor, Sie versuchen die Zukunft vorherzusagen, aber anstatt das Wetter oder den Aktienmarkt zu erraten, betrachten Sie eine lange, gewundene Linie von Zahlen, die sich im Laufe der Zeit verändern. Dies wird Zeitreihenprognose (Time Series Forecasting) genannt. Jahrzehntelang haben Wissenschaftler mathematische Tricks und einfache Computerprogramme genutzt, um zu erraten, was als Nächstes kommt. Doch vor kurzem ist eine neue Art von superintelligentem Computergehirn, ein Foundation Model, aufgetaucht. Betrachten Sie diese Modelle wie einen Meisterkoch, der jedes Gericht der Welt probiert hat. Anstatt nur zu lernen, ein einzelnes Rezept zu kochen (wie etwa den Stromverbrauch vorherzusagen), lernt er die „Sprache“ aller Rezepte auf einmal. Dies ermöglicht es ihm, die Zukunft jedes neuen Gerichts vorherzusagen, das er noch nie gesehen hat, indem er nur einen Blick auf einige wenige Zutaten wirft. Dies nennt man Zero-Shot-Prognose. Es gibt jedoch einen Haken: Um ein solcher Meisterkoch zu werden, müssen diese Modelle normalerweise gigantisch sein, was massive Computer und riesige Mengen an Elektrizität erfordert. Sie sind wie ein riesiger, treibstoffhungriger LKW, der zwar viel Fracht transportieren kann, aber unmöglich durch eine kleine Stadtstraße zu fahren ist.

Dieses Paper stellt Reverso vor, eine neue Familie von Zeitreihenmodellen, die eine einfache Frage stellt: Brauchen wir wirklich einen riesigen LKW, um das Paket auszuliefern, oder können wir ein elegantes, effizientes Motorrad bauen, das genauso schnell fährt? Die Autoren, ein Team von Forschern, argumentieren, dass die aktuelle Besessenheit davon, Modelle immer größer zu machen, vielleicht am Ziel vorbeigeht. Sie schlagen vor, dass das Geheimnis eines großartigen Zeitreihenmodells nicht nur die rohe Größe ist, sondern wie clever das Modell die Daten betrachtet. Sie haben Reverso so gebaut, dass es winzig ist – einige Versionen haben nur wenige hunderttausend Parameter (die „Gehirnzellen“ des Modells) – und dennoch erbringen sie eine Leistung, die mit den massiven Giganten mit Milliarden von Parametern mithalten kann. Das Paper legt nahe, dass wir durch ein paar kluge Tricks diese Modelle klein genug machen können, um auf alltäglichen Geräten wie einem Laptop oder sogar einem Telefon zu laufen, ohne ihre Fähigkeit zu verlieren, die Zukunft präzise vorherzusagen.

Das Problem mit riesigen Modellen

In der Welt der künstlichen Intelligenz gibt es die populäre Vorstellung, dass „größer besser ist“. Wenn man ein Modell intelligent machen will, gibt man ihm einfach mehr Daten und mehr Gehirnzellen. Dies hat bei Sprache und Vision Wunder gewirkt und zu massiven Modellen geführt, die Aufsätze schreiben oder Katzen erkennen können. Aber für Zeitreihen hat dieser Ansatz zu Modellen geführt, die hunderte Millionen Gehirnzellen groß sind. Während sie gut darin sind, die Zukunft vorherzusagen, sind sie mühsam in der Anwendung. Sie sind zu schwerfällig, um auf kleinen Geräten zu laufen, zu teuer in der Ausbildung und zu langsam für Echtzeitsituationen. Es ist, als würde man versuchen, einen Fahrradreifen mit einem Dampfwalzen zu reparieren; es funktioniert zwar, ist aber völlig ineffizient.

Die Autoren dieses Papers entschieden sich für einen anderen Weg. Anstatt das Modell einfach nur größer zu machen, fragten sie: Wie können wir das Modell intelligenter darin machen, wie es die Daten betrachtet? Sie wollten ein Modell bauen, das „parametereffizient“ ist, was bedeutet, dass es das Beste aus seinem Einsatz herausholt. Sie wollten nicht nur ein kleines Modell; sie wollten ein kleines Modell, das dennoch mit den Giganten konkurrieren kann.

Das Reverso-Rezept: Drei magische Tricks

Um Reverso zu bauen, haben die Autoren ein einfaches Rezept zusammengestellt. Stellen Sie sich vor, Sie bereiten eine Mahlzeit zu, bei der Sie nicht einfach alles in einen Topf werfen, sondern es so vorbereiten, dass die besten Aromen zur Geltung kommen.

1. Die „Zoom-Objektiv“-Strategie (Multi-Scale Input)
Stellen Sie sich vor, Sie blicken auf eine lange Straße. Wenn Sie nur ganz nah heransehen, sehen Sie die Risse im Asphalt. Wenn Sie aus sehr großer Entfernung schauen, sehen Sie die gesamte Autobahn, aber verpassen die Details. Die meisten Modelle versuchen, die Straße aus nur einer Distanz zu betrachten. Reverso hingegen nutzt ein „Zoom-Objektiv“. Es nimmt dieselben Zeitreihendaten und betrachtet sie gleichzeitig durch vier verschiedene Objektive:

• Ein Objektiv sieht die Daten so, wie sie sind (hohe Detailtiefe).
• Ein Objektiv überspringt jeden zweiten Punkt (mittlere Detailtiefe).
• Ein Objektiv überspringt jeden dritten Punkt (geringe Detailtiefe).
• Ein Objektiv überspringt noch mehr (sehr geringe Detailtiefe).

Indem das Modell diese vier verschiedenen „Ansichten“ derselben Daten gleichzeitig einspeist, kann es Muster lernen, die schnell ablaufen (wie ein plötzlicher Ausschlag) und Muster, die langsam ablieren (wie ein saisonaler Trend), alles zur gleichen Zeit. Dies ist vergleichbar mit einem Team aus vier Detektiven, die jeweils den Tatort aus einem anderen Winkel betrachten und dann ihre Notizen kombinieren. Dieser Trick ermöglicht es dem Modell, langfristige Muster zu verstehen, ohne gleichzeitig eine massive Menge an Daten im Gedächtnis behalten zu müssen.

2. Der „Hybrid-Motor“ (Sequence Mixing)
Sob nachdem das Modell seine Daten erhalten hat, muss es diese verarbeiten. Die meisten Modelle nutzen eine Methode namens „Attention“ (Aufmerksamkeit), die wie ein Scheinwerfer funktioniert, der die gesamte Historie der Daten scannt, um herauszufinden, was wichtig ist. Das ist leistungsstark, aber langsam und schwerfällig. Reverso nutzt einen Hybrid-Motor, der zwischen zwei verschiedenen Arten der Verarbeitung wechselt:

• Lange Faltungen (Long Convolutions): Diese sind wie ein gleitendes Fenster, das die Daten scannt, um sich wiederholende Muster zu finden, ähnlich wie eine Rhythmusgruppe in einer Band, die den Takt hält.
• DeltaNet-Schichten: Dies ist eine Art von „linearem rekurrentem“ Layer. Denken Sie an sie als ein Gedächtnisbank, die sich ständig selbst aktualisiert und die wichtigsten Dinge speichert, ohne die gesamte Historie erneut lesen zu müssen.

Die Autoren fanden heraus, dass die Mischung aus beidem – die Nutzung des „gleitenden Fensters“ für einige Teile und der „Gedächtnisbank“ für andere – der ideale Mittelweg war. Es war schneller und leichter als die Verwendung von nur dem schweren Scheinwerfer (Attention) oder nur der Gedächtnisbank. Es ist wie das Fahren eines Autos, das sowohl einen Turbolader für Geschwindigkeit als auch eine Hybridbatterie für Effizienz besitzt.

3. Der „Smarte Decoder“ (Attention Head)
Schließlich, nachdem das Modell die Daten verarbeitet hat, muss es eine Vorhersage treffen. Reverso verwendet am Ende einen speziellen „Decoder“, der eine leichtgewichtige Form der Aufmerksamkeit nutzt. Dies ist der Teil, der tatsächlich sagt: „Basierend auf allem, was ich gesehen habe, ist dies das, was ich als Nächstes erwarte.“ Die Autoren fanden heraus, dass diese spezifische Art von Decoder wesentlich besser darin war, genaue Vorhersagen zu treffen, als eine einfache, stumpfe Berechnung.

Die Ergebnisse: Klein, aber oho

Das Team trainierte drei Versionen von Reverso: eine winzige (200.000 Parameter), eine kleine (550.000 Parameter) und eine Standardversion (2,6 Millionen Parameter). Anschließend testeten sie diese Modelle gegen die größten, schwersten Modelle der Welt, von denen einige über eine Milliarde Parameter besitzen.

Die Ergebnisse waren überraschend. Beim Gift-Eval Benchmark (einem riesigen Test für Prognosefähigkeiten über viele verschiedene Datentypen hinweg) erreichte das Standard-Reverso-Modell einen Wert von 0,706. Dies ist unglaublich wettbewerbsfähig. Es schnitt genauso gut ab wie Modelle, die 100 bis 1.000 Mal größer sind.

• Es schlug Modelle wie FlowState (2,6 Mio. Parameter) und Tiny-Time Mixers (1 Mio. Parameter).
• Es kam den Giganten wie TimesFM-2.5 (200 Mio. Parameter) und Xihe-Max (1,5 Mrd. Parameter) sehr nahe.

Doch die wahre Magie lag nicht nur in der Genauigkeit, sondern in der Geschwindigkeit und der Speicherauslastung. Da Reverso so klein ist, läuft es viel schneller und verbraucht deutlich weniger Speicher. Die Autoren maßen die „Inferenzlatenz“ (die Zeit, die für eine Vorhersage benötigt wird) und stellten fest, dass Reverso signifikant schneller ist als die massiven Modelle. Es ist wie der Vergleich zwischen einem Sportwagen und einem Güterzug: Der Zug kann viel transportieren, aber der Sportwagen bringt Sie viel schneller ans Ziel und verbraucht weniger Treibstoff.

Was Reverso kann (und was nicht)

Das Paper zeigt, dass Reverso exzellent in der Zero-Shot-Prognose (Vorhersage der Zukunft ohne vorheriges Training auf diesen spezifischen Daten), der Klassifizierung (Sortierung von Daten in Kategorien) und der Anomalieerkennung (Erkennen von seltsamen, unerwarteten Ereignissen) ist. Beispielsweise entdeckte Reverso in Tests zur Anomalieerkennung mehr ungewöhnliche Ereignisse als andere Modelle, selbst wenn die Schwelle für „seltsam“ sehr streng gesetzt war.

Die Autoren sind jedoch ehrlich über die Grenzen.

• Es ist hauptsächlich für einzelne Datenlinien gedacht: Reverso wird derzeit als „univariates“ Modell trainiert, was bedeutet, dass es eine einzige Linie von Zahlen betrachtet. Es kann noch nicht so gut mit mehreren voneinander abhängigen Datenlinien (multivariat) umgehen wie einige der riesigen Modelle, die komplexe Attention-Mechanismen nutzen.
• Kurze Sequenzen sind schwierig: Während Reverso bei langfristigen Vorhersagen erstaunlich ist, hinkt es manchmal hinter den riesigen Modellen zurück, wenn die Daten sehr kurz sind.
• Es sagt Zahlen voraus, keine Wahrscheinlichkeiten: Reverso liefert eine einzige beste Schätzung (eine Punktprognose). Es sagt einem nicht natürlich, wie sicher es sich ist (wie z. B. „Ich bin zu 90 % sicher, dass es regnen wird“). Die Autoren deuten an, dass man diese Funktion später hinzufügen könnte, aber sie ist derzeit nicht eingebaut.

Warum das wichtig ist

Die wichtigste Lehre aus Reverso ist, dass Größe nicht alles ist. Das Paper legt nahe, dass bei vielen realen Aufgaben nicht die Größe des Modells der Engpass ist, sondern wie gut es konzipiert ist. Durch den klugen Einsatz einer Mischung aus Multi-Scale-Inputs und hybrider Verarbeitung kann man ein Modell bauen, das klein genug ist, um auf einem Laptop oder einem Telefon zu laufen, aber intelligent genug, um mit Supercomputern zu konkurrieren.

Dies ist eine große Sache, denn es bedeutet, dass wir vielleicht nicht ständig größere und größere Modelle bauen müssen, die riesige Rechenzentren erfordern. Stattdessen können wir effiziente, kompakte Modelle bauen, die überall eingesetzt werden können – in Ihrer Smartwatch, in einem selbstfahrenden Auto oder in einer entlegenen Wetterstation. Die Autoren kommen zu dem Schluss, dass sorgfältiges Design die „Leistungs-Effizienz-Grenze“ verschieben kann, wodurch leistungsstarke KI für alle zugänglich wird, nicht nur für diejenigen mit unbegrenzter Rechenleistung.

Kurz gesagt: Reverso beweist, dass man kein Riese sein muss, um die Zukunft klar zu sehen; man muss nur wissen, wie man sie aus den richtigen Winkeln betrachtet.