TIME: Temporally Intelligent Meta-reasoning Engine for Context-Triggered Explicit Reasoning

` Blöcke:** Optionale, kurze Reasoning-Ausbrüche, die an beliebiger Stelle einer Antwort erscheinen können (am Anfang, in der Mitte oder am Ende) und eine erneute Auslösung von Reasoning innerhalb eines einzelnen Turns ermöglichen.
3. Tick-Ereignisse: Nutzer-Turns, die nur einen Zeitstempel enthalten und das stille Verstreichen von Zeit ohne neuen Text darstellen.

Trainingscurriculum

Das Framework richtet dichte Modelle von Qwen3 (4B, 8B, 14B und 32B Parameter) mittels eines vierphasigen Curriculums für überwachtes Feinabstimmen (SFT) aus:

• Phase 1 (Strukturelle Saat): Einführung von Primitiven und Ausgabeformaten unter Verwendung synthetischer Single-Turn-Daten, um kompaktes, gut abgegrenztes Reasoning zu lehren.
• Phase 2 (Temporale Exposition): Verwendung von Zwei-Turn-Dialogen mit Zeitlücken und Tick-Ereignissen, um das Modell zu trainieren, sich auf temporale Metadaten zu konditionieren, Annahmen nach Stille zu revidieren und unnötige Ausführlichkeit zu unterdrücken.
• Phase 3 (Kontextuelle Modulation): Erweiterung auf Multi-Turn-Szenarien, wobei das Modell trainiert wird, Reasoning-Blöcke unter sich änderndem Kontext und erhöhter Tick-Frequenz zu unterdrücken oder erneut auszulösen.
• Phase 4 (Gradientenabgestimmte Konvergenz): Ein entscheidender Alignment-Schritt unter Verwendung eines kleinen (128 Proben), maximal diversen Voll-Batch. Dieser Satz isoliert das Ziel-Invariante: Reasoning-Ausbrüche, die ausschließlich durch temporale oder diskursive Hinweise ausgelöst werden. Diese Phase verwendet deterministische Voll-Batch-Updates, um die Gradienten auf die Policy zu konzentrieren und gleichzeitig Stichprobenvarianz zu vermeiden.

Evaluation: TIMEBench

Die Autoren stellen TIMEBench vor, einen diagnostischen Benchmark, der aus 77 Szenarien in sieben Kategorien besteht. Im Gegensatz zu Benchmarks, die sich auf das Abrufen temporaler Fakten konzentrieren, testet TIMEBench Reasoning unter temporaler Diskontinuität, Anomalie und kontextueller Neuverankerung. Die Kategorien umfassen:

• Chronologische Retrospektion
• Erkennung ungültiger Zeiten
• Temporale Adaptivität (z. B. sich nähernde Fristen)
• Temporale Kontextbewusstheit (z. B. Feiertage, späte Nacht-Kontexte)
• Erkennung von Anomalien im temporalen Fluss (z. B. unmögliche Zeitsprünge)
• Bewusstsein für Zeitlücken
• Zeitzonenempfindlichkeit

Die Evaluation verwendet einen LLM-as-a-Judge (blind gegenüber Prompts und Zeitstempeln) mit binärer Bewertung und bootstrapten Konfidenzintervallen.

Wichtige Ergebnisse

Über alle Modellskalen hinweg (4B bis 32B) übertreffen TIME-Modelle die Basis-Qwen3-Modelle sowohl im „no-thinking"- als auch im „thinking"-Modus auf TIMEBench signifikant:

• Leistungssteigerungen: TIME-32B erreichte eine Punktzahl von 64,81, verglichen mit 37,40 für das Basis-Qwen3-32B im thinking-Modus und 31,82 im no-thinking-Modus. Ähnliche Verbesserungen wurden bei den Modellen 4B, 8B und 14B beobachtet.
• Statistische Signifikanz: Die Verbesserungen waren über alle Skalen hinweg mittels Wilcoxon-Vorzeichen-Rang-Tests statistisch signifikant ($p < 0,001$).
• Effizienz und Struktur:
  • Token-Reduktion: TIME-Modelle reduzierten explizite Reasoning-Token um etwa eine Größenordnung (z. B. ~84 Reasoning-Token pro Durchlauf für TIME-32B gegenüber ~911 für den Basis-thinking-Modus).
  • Verschiebung der Platzierung: Die Position des Reasonings verschob sich von front-loaded (100 % am Anfang für Basis-Modelle) zu überwiegend mid-turn (75,6 % für TIME-32B).
  • Degeneriertheit: TIME-Modelle zeigten signifikant niedrigere Raten an Output-Degeneriertheit (z. B. 3,64 % für TIME-32B gegenüber 18,18 % für den Basis-thinking-Modus).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass TIME zeigt, wie explizites Reasoning als selektive, kontextgetriggerte Policy und nicht als feste Decodierungsart ausgerichtet werden kann. Die Bedeutung der Arbeit liegt in:

1. Verhaltensänderung: Der Übergang von „immer-an" oder „nie-an" Reasoning zu einer Policy, bei der Reasoning selektiv als Reaktion auf latente Zustandsänderungen eingesetzt wird, die durch zeitliche Hinweise signalisiert werden.
2. Verbesserte Überprüfbarkeit: Durch die Verwendung kurzer, lokalisierter Reasoning-Ausbrüche wird die Zuordnung zwischen spezifischen Behauptungen und ihren Begründungen direkter.
3. Temporale Kognition: Das Framework zeigt, dass Modelle lernen können, Temporalität nicht nur als Inhalt zu verwenden, der abgerufen werden muss, sondern als strukturierte Sonde für latente Kontextänderungen (z. B. veraltete Annahmen, Dringlichkeit), die eine Neuverankerung erfordern.

Einschränkungen und Umfang

Die Autoren weisen ausdrücklich auf folgende Einschränkungen hin:

• Modellumfang: Die Experimente beschränken sich auf dichte hybride Reasoner aus der Qwen3-Familie; eine Verallgemeinerbarkeit auf reine Instruktionsmodelle oder Mixture-of-Experts-Architekturen wird nicht behauptet.
• Benchmark-Umfang: TIMEBench ist ein vorläufiges Diagnosewerkzeug mit 77 Szenarien; es bewertet die Leistung nicht auf breiteren aufgabenbasierten Benchmarks wie allgemeiner Mathematik oder Programmierung.
• Evaluiationsmethode: Die Punktzahlen basieren auf LLM-as-a-Judge anstatt auf menschlicher Annotation, was potenzielles Bewertungsrauschen einführt.
• Mechanistische Interpretierbarkeit: Die Arbeit adressiert, wann und wie Reasoning zur Geltung kommt, liefert jedoch keine mechanistische Interpretierbarkeit der zugrunde liegenden Modellzustände.
• Sprache: Die Experimente wurden ausschließlich auf Englisch durchgeführt.

Die Arbeit schließt, dass TIME und TIMEBench eine Grundlage dafür bieten, Modellen beizubringen, explizites Reasoning selektiv einzusetzen, obwohl breitere Transferleistungen und robusteres Benchmarking weiterhin offene Bereiche für zukünftige Arbeiten bleiben.