🤖 AI

Trajectory-Aware Retrieval Agents for Temporal Decision- Making

Dieses Paper stellt TLM vor, ein geschlossenes agentisches Framework, das latente Wachstumskurvenmodelle über abgerufene Embeddings nutzt, um die zeitliche Struktur zu bewahren und Evidenz iterativ zu verfeinern, wodurch es Standardansätze der Retrieval-Augmentation bei zeitlich fundierten Entscheidungsaufgaben wie medizinischer Diagnose und Finanzprognose signifikant übertrifft.

Ursprüngliche Autoren: Jing Wang, Jie Shen, Xing Niu

Veröffentlicht 2026-07-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jing Wang, Jie Shen, Xing Niu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber anstatt eines einzelnen Hinweises haben Sie einen riesigen, chaotischen Stapel Notizen eines Detektivs, der sie über mehrere Jahre hinweg geschrieben hat. Einige Notizen beschreiben den Beginn des Falls, andere die Mitte und andere das sehr Ende. Wenn Sie einfach eine Handvoll dieser Notizen wahllos greifen und einen superintelligenten Roboter bitten, das Rätsel zu lösen, könnte der Roboter verwirrt werden. Er könnte einen Hinweis aus dem Jahr 1990 mit einem Hinweis aus dem Jahr 2024 vermischen oder die Tatsache übersehen, dass sich das Verhalten des Verdächtigen langsam verändert hat. Dies ist das Problem, mit dem Wissenschaftler konfrontiert sind, wenn sie versuchen, Künstliche Intelligenz (KI) einzusetzen, um Entscheidungen basierend auf langen Geschichten zu treffen, wie etwa medizinischen Krankenakten oder Börsenberichten. Die KI ist großartig im Lesen, aber sie vergisst oft, wann Dinge passiert sind.

Um dies zu beheben, bauen Forscher „Agenten“ – KI-Systeme, die denken, nach Informationen suchen und dann entscheiden können. Ein gängiges Werkzeug, das sie verwenden, heißt Retrieval-Augmented Generation (RAG). Denken Sie an RAG wie an einen Bibliothekar, der zu den Regalen rennt, um Bücher zu finden, die zu Ihrer Frage passen, sie zurückbringt und sie der KI überreicht. Das Problem ist, dass Standard-Bibliothekare einfach nur Bücher herausgreifen, die ähnlich klingen, und dabei ignorieren, dass die Geschichte darin einen Zeitstrahl hat. Sie könnten Ihnen eine Seite aus dem Ende eines Romans vorlegen, bevor die Seite, auf der sich der Charakter verliebt, kommt. Dieses Paper stellt einen neuen Weg vor, der der KI hilft, die Geschichte der Daten zu verstehen, nicht nur die Wörter. Es behandelt die Informationen wie einen Filmstreifen, schaut zu, wie sich die Handlung vorwärts bewegt, erkennt plötzliche Wendepunkte und füllt fehlende Szenen auf, um so bessere Vorhersagen über die Zukunft zu treffen.

Die Geschichte des „Trajektorien“-Detektivs

Die Forscher hinter diesem Paper, Jing Wang, Jie Shen und Xing Niu, stellten fest, dass Standard-KI-Tools schrecklich darin sind, mit der Zeit umzugehen. Wenn man eine normale KI bittet, vorherzusagen, was als Nächstes passieren wird, basierend auf der Krankengeschichte eines Patienten oder dem Ergebnisbericht eines Unternehmens, behandelt sie die Informationen oft wie einen Beutel voller Murmeln. Sie pickt sich die „wichtigen“ Murmeln (Sätze) heraus, ignoriert aber die Reihenfolge, in der sie aufgesammelt wurden. In der realen Welt zählt die Zeit. Ein Anstieg des Fiebers eines Patienten über drei Tage hinweg ist eine andere Geschichte als ein Fieber, das kurz hochschießt und dann wieder abfällt. Der Wechsel des Tons eines CEO von selbstbewusst zu nervös während einer Telefonkonferenz ist ein entscheidender Hinweis, der verloren geht, wenn man die Sätze einfach aus der Reihenfolge heraus liest.

Um dies zu lösen, entwickelte das Team ein neues System namens TLM (Trajectory Language Model). Sie können TLM als einen Detektiv betrachten, der die Fallakte nicht nur liest, sondern den Film der Fallakte sieht.

Schritt 1: Die intelligente Suche
Zuerst agiert TLM wie ein hybrider Bibliothekar. Es nutzt zwei Methoden, um Hinweise zu finden: eine, die nach exakten Wortübereinstimmungen sucht (wie die Suche nach einem bestimmten Namen), und eine, die nach dem „Vibe“ oder der Bedeutung der Wörter sucht. Es schnappt sich einige erste Seiten des Dokuments, um zu beginnen.

Schritt 2: Die Wachstumskurve (Der „Filmstreifen“-Trick)
Dies ist der große Zaubertrick des Papers. Anstatt nur die Seiten zu lesen, betrachtet TLM die Form der Geschichte. Es verwendet ein mathematisches Werkzeug namens Latent Growth Curve Model (LGCM). Stellen Sie sich vor, Sie beobachten eine Pflanze beim Wachsen. Sie schauen nicht nur am Dienstag auf die Pflanze und am Freitag auf die Pflanze; Sie schauen auf die Linie, die sie verbindet. Wächst die Pflanze stetig? Welkt sie? Ist das Wachstum plötzlich stehen geblieben?
TLM macht das mit dem Text. Es verwandelt die Sätze in eine Linie auf einem Graphen.

Trend: Wird die Geschichte besser, schlechter oder bleibt sie gleich?
Wendepunkte: Hat die Geschichte plötzlich die Richtung geändert? (Wie ein Patient, der sich nach einer Besserung verschlechtert).
Lücken: Hat die Geschichte einen Schlag ausgelassen? (Wie ein fehlender Tag in einem Tagebuch).
Wenn TLM eine „Lücke“ in der Geschichte sieht, weiß es, dass es zurück in die Bibliothek gehen muss, um die fehlenden Seiten zu finden, um das Loch zu füllen.

Schritt 3: Das „SHAP“-Scorecard
Sobald TLM einen Stapel an Hinweisen gesammelt hat, muss es entscheiden, welche davon am wichtigsten sind. Es verwendet eine Methode namens SHAP, die wie ein Spiel ist, bei dem jeder Satz einen Punkt erhält dafür, wie sehr er geholfen hat, das Rätsel zu lösen. TLM nutzt einen winzigen, schnellen „Scorer“-Roboter, um diese Mathematik schnell durchzuführen. Wenn ein Satz extrem wichtig ist, nutzt TLM ihn, um den Bibliothekar nach weiteren verwandten Hinweisen zu fragen. Entscheidend ist, dass TLM niemals einen Hinweis, den es bereits gefunden hat, wegwirft; es fügt nur neue hinzu. Dies stellt sicher, dass die Geschichte immer reicher, niemals ärmer wird.

Schritt 4: Die endgültige Entscheidung
Schließlich füttert TLM diese organisierte, zeitbewusste Geschichte in ein großes KI-Gehirn (ein Large Language Model), um die endgültige Entscheidung zu treffen. Da die Geschichte nun geordnet und vollständig ist, kann die KI eine viel klügere Vermutung anstellen.

Was sie herausgefunden haben

Das Team testete diesen neuen Detektiv auf drei sehr unterschiedliche Arten von Rätseln:

Medizinische Fragen: Sie baten das System, schwierige medizinische Fragen basierend auf den Krankengeschichten von Patienten zu beantworten. Die Standard-KI (ohne TLM) beantwortete etwa 34,6 % der Antworten richtig. Das neue TLM-System beantwortete 64,2 % richtig. Das ist fast die doppelte Erfolgsquote! Das Paper legt nahe, dass dies daran liegt, dass medizinische Geschichten alles über die Veränderung eines Patienten über die Zeit sind und TLM der Einzige war, der das Muster bemerkte.
Earnings Calls (Ergebnisberichte): Sie versuchten vorherzusagen, ob der Aktienkurs eines Unternehmens nach der Rede eines CEO steigen oder fallen würde. Dies ist notorisch schwierig, da der Aktienmarkt sehr intelligent ist und sofort reagiert. Die Standard-KI war kaum besser als Raten (etwa 50,7 %). TLM verbesserte dies auf 58,0 %. Auch wenn das nicht nach einem riesigen Sprung klingt, ist das Verbessern des Marktes auch nur ein kleines bisschen in der Welt der Finanzen eine große Sache.
Aktienlücken: Sie versuchten vorherzusagen, ob der Aktienkurs am nächsten Morgen springen oder fallen würde. Sie simulierten ein Handelsspiel, das mit 10.000 $ startete. Die Standard-KI endete bei 12.067 $. TLM, indem es die Trends besser erkannte, ließ das Geld auf 20.400 $ anwachsen.

Das Fazit

Das Paper zeigt, dass wenn man einer KI eine Möglichkeit gibt, die Form einer Geschichte über die Zeit zu verstehen, sie zu einem viel besseren Detektiv wird. Indem es Mathematik nutzt, um Trends zu verfolgen und fehlende Teile zu ergänzen, liest TLM nicht nur die Wörter; es versteht die Reise. Die Autoren sind vorsichtig darauf hinzuweisen, dass dies kein Zauberstab ist, der alles löst – es funktioniert am besten, wenn die Informationen einen klaren Zeitstrahl haben, und es muss noch in mehr realen Situationen getestet werden. Aber für den Moment beweist es: Wenn man möchte, dass eine KI gute Entscheidungen über die Zukunft trifft, muss man ihr beibringen, wie man die Vergangenheit der Reihe nach betrachtet.

Technisches Resümee: Trajektorienbewusste Retrieval-Agenten für zeitliche Entscheidungsfindung

Problemstellung

Die Arbeit adressiert die Einschränkungen von Standard-RAG-Pipelines (Retrieval-Augmented Generation), wenn diese auf hochsensible Entscheidungsaufgaben angewendet werden, die temporale, strukturierte Langformtexte beinhalten (z. B. klinische Krankengeschichten, Earnings Calls, Börsendaten).

Standardmäßige RAG-Ansätze rufen Textfragmente ausschließlich basierend auf semantischer Ähnlichkeit ab, wodurch der chronologische Kontext in einen ungeordneten „Bag of Text“ fragmentiert wird. Dieser strukturelle Verlust ist kritisch, da viele Entscheidungsprobleme auf der Trajektorie von Informationen beruhen – wie etwa die sich verschlechternden Symptome eines Patienten, eine sich ändernde Guidance eines CEO oder eine serielle Abhängigkeit von Aktienkursen. Das Ignorieren dieser temporalen Struktur kann dazu führen, dass man auf widersprüchliche Evidenz konditioniert oder kritische Übergänge übersieht. Darüber hinaus produzieren standardmäßige autoregressive LLMs Token-Sequenzen anstelle von begrenzten Klassifikationsentscheidungen, was zu hoher Varianz und Sensitivität gegenüber dem Prompt-Formatting führt, wenn sie gezwungen werden, diskrete Labels auszugeben.

Methodik: TLM (Trajectory Language Model)

Die Autoren schlagen TLM vor, ein geschlossenes agentisches Framework, das klassische statistische Methoden in die RAG-Pipeline integriert, um die latente Trajektorie der abgerufenen Evidenz zu modellieren. Das Framework operiert in fünf Phasen:

Hybrides Retrieval: Das Quelldokument wird in überlappende Chunks unterteilt. Das initiale Retrieval nutzt einen hybriden Ansatz, der spärliches lexikalisches Matching (BM25) mit dichter semantischer Ähnlichkeit (via eines vortrainierten Satz-Encoders) kombiniert, um ein initiales Evidenzset $Z^{(0)}$ zu bilden.
Latent Growth Curve Modeling (LGCM): Die geordneten abgerufenen Chunks werden als Beobachtungen eines sich entwickelnden latenten Zustands behandelt. Die Embeddings dieser Chunks werden an ein lineares LGCM ( $e_i = \mu + \beta t_i + \epsilon_i$ $e_{i} = μ + β t_{i} + ϵ_{i}$ ) angepasst, wobei $\mu$ $μ$ den Basiszustand und $\beta$ $β$ die Änderungsrate darstellt. Diese Dekomposition liefert drei handlungsrelevante Signale:
- Trend-Klassifizierung: Kategorisierung der Trajektorie als stabil, progressiv oder richtungsändernd.
- Wendepunkt-Detektion: Kennzeichnung von Chunks, deren Residuen den Mittelwert überschreiten, als Abweichungen von der erwarteten Trajektorie.
- Gap-Detektion: Identifizierung scharfer Unterschiede zwischen aufeinanderfolgenden Embeddings, um ein gezieltes Re-Retrieval fehlender intermediärer Informationen auszulösen.
Gelerntes Re-Ranking und Retrieval: Ein leichtgewichtiger, attention-basierter Scorer $g_\theta$ wird gemeinsam mit dem LLM trainiert. Er ordnet Chunks nach ihrer Wichtigkeit neu (Re-Ranking) und konstruiert „gelernte Queries“ (gemittelte Embeddings der am besten bewerteten Chunks), um zusätzliche, diagnostisch relevante Evidenz abzurufen, die lexikalisch möglicherweise nicht mit der ursprünglichen Query übereinstimmt.
LLM-Klassifikation: Das finale Evidenzset (re-rankte Chunks, LGCM-Zusammenfassung, Query und Optionen) wird an ein kausales LLM übergeben. Das Modell bewertet Antwortoptionen mittels Next-Token-Logits, um eine diskrete Klassifikation zu erzeugen.
SHAP-gestützte iterative Verfeinerung: Nach der initialen Prädiktion schätzt das System den Beitrag jedes Chunks mittels einer Leave-one-out-Approximation von Shapley-Werten, die effizient über den leichtgewichtigen Scorer berechnet wird. Chunks mit positivem Beitrag dienen als Seed für neue Queries, um zusätzliche Evidenz abzurufen. Entscheidend ist, dass diese Verfeinerung nur additiv erfolgt; zuvor abgerufene Chunks werden niemals verworfen.

Die Autoren liefern eine theoretische Proposition, die besagt, dass unter einer Scorer-Kalibrierungsannahme dieses additive Verfeinerungsverfahren in der Wahrscheinlichkeit, die dem korrekten Label zugewiesen wird, monoton steigend ist.

Zentrale Beiträge

Latent Growth Curve Modeling für RAG: Die Arbeit führt die erste Anwendung von LGCMs auf RAG-Evidenztrajektorien ein. Dies bietet eine fundierte Dekomposition der Evidenz in Basiswert, Trend und Residuen, was die Detektion von Trends, Wendepunkten und Informationslücken ermöglicht.
Joint LLM-Scorer Architektur: Die Autoren schlagen einen leichtgewichtigen Scorer vor, der gemeinsam mit dem LLM trainiert wird, um eine effiziente SHAP-Wert-Schätzung zu ermöglichen. Dies ersetzt teure LLM-Forward-Passes durch kostengünstige Scorer-Passes, was die iterative Evidenzverfeinerung praktikabel macht.
Empirische Validierung über verschiedene Domänen hinweg: Das Framework wird auf drei unterschiedlichen temporalen Entscheidungsaufgaben evaluiert: medizinische Beantwortung von Fragen, Vorhersage von Überraschungseffekten bei Earnings Calls und Vorhersage von Overnight-Aktien-Gaps.

Experimentelle Ergebnisse

Das TLM-Framework wurde auf drei Datensätzen unter Verwendung eines Qwen3-14B Backbones und BAAI/bge-large-en-v1.5 Embeddings evaluiert:

Medizinische Beantwortung von Fragen (MedQA): TLM erreichte eine Genauigkeit von 64,2 % und übertraf damit signifikant die Zero-Shot-LLM-Baseline (34,6 %) sowie einen Embedding-only Classifier (15,3 %). Dies demonstriert die Notwendigkeit von Multi-Hop-Inferenz über temporal strukturierten Evidenzen in der klinischen Argumentation.
Earnings Call Surprise Prediction: Bei einer binären Klassifikationsaufgabe zur Vorhersage der Marktreaktion auf Quartalszahlen erreichte TLM eine Genauigkeit von 58,0 %. Dies übertrifft Zero-Shot-LLMs (50,7 %) und Standard-Retrieval-Baselines, die kaum über dem Zufall lagen, was die Schwierigkeit der Aufgabe aufgrund der Effizienzmarkthypothese unterstreicht.
Overnight Stock Gap Prediction: In einer 3-Wege-Klassifikationsaufgabe (Buy/Hold/Sell), simuliert als Handelsstrategie, erreichte TLM eine Genauigkeit von 38,3 % im Vergleich zu 27,5 % für die Zero-Shot-Baseline. In Bezug auf die wirtschaftliche Auswirkung steigerte TLM ein simuliertes Portfolio von 10.000 $ auf 20.400 $, verglichen mit 12.067 $ für die Baseline.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass TLM eine Lücke zwischen statistischer Methodik für Längsschnittanalysen und modernen LLM-Agenten schließt. Indem das Framework die abgerufene Evidenz nicht als ungeordnetes Set, sondern als temporale Trajektorie behandelt, ermöglicht es Agenten, über Trends und Übergänge statt nur über statische Fakten zu argumentieren.

Die Autoren betonen, dass die Gewinne in finanziellen Aufgaben zwar in prozentualen Begriffen moderat ausfallen mögen, sie jedoch ökonomisch bedeutsam sind, angesichts der Schwierigkeit, Marktreaktionen vorherzusagen. Der Ansatz wird als generalisierbare Methode zur Verbesserung der Entscheidungsfindung in jedem Bereich präsentiert, in dem die chronologische Reihenfolge und die Evolution von Informationen entscheidend für das korrekte Ergebnis sind. Die Arbeit beansprucht nicht, alle Herausforderungen des temporalen Denkens zu lösen, bietet aber einen spezifischen Mechanismus (LGCM + SHAP-Verfeinerung), um den strukturellen Verlust zu mildern, der herkömmlichen RAG-Pipelines eigen ist.