Do Proactive Agents Really Need an LLM to Decide When to Wake and What to Anchor?

Technische Samenvatting: Proactieve Agenten en Temporaal Grafisch Leren

Probleemstelling
Huidige architecturen voor proactieve agenten vertrouwen op Large Language Models (LLM's) om "altijd-aan"-beslissingen te nemen over wanneer te interveniëren (triggeren) en welke context te verstrekken (routeren). Deze aanpak staat voor twee kritieke inefficiënties:

1. Duur en traag triggeren: Het draaien van een grote LLM bij elke gebruikersgebeurtenis (bijvoorbeeld het openen van een bestand of wisselen van applicatie) creëert een aanzienlijke latentie en een computatief knelpunt, aangezien de triggerbeslissing zich op het kritieke pad van het systeem bevindt.
2. Niet-gegronde suggesties: Wanneer een op een LLM gebaseerde trigger activeert, mist het resulterende voorstel vaak de grondslag in specifieke gebruikersartefacten. Omdat de trigger en de contextselectie vaak aparte stadia zijn, kan de interventie uitmonden in generieke sessieonderwerpen in plaats van de specifieke entiteit die de gebruiker actief manipuleert.

De kern van het probleem is een mismatch in datavoorstelling: gebruikersactiviteit is van nature een gestructureerde gebeurtenisstroom (actor, werkwoord, object, tijdstempel) die door het besturingssysteem wordt onderhouden als een graf. Het omzetten van deze structuur naar tekst en het vragen aan een LLM om de structuur te herstellen, is een onnodige "round-trip" die cross-event entiteitskoppelingen en veel-op-veel gebeurtenis-entiteitsstructuren verliest.

Methodologie
De auteurs stellen een Graf-Eerst, Gegrond Architectuur voor die de op een LLM gebaseerde trigger en contextselector vervangt door een klein Temporaal Grafisch Leren (TGL) model.

• Grafconstructie: Gebruikersactiviteit wordt omgezet in een heterogene temporele interactiegraf. Knopen vertegenwoordigen gebeurtenissen en semantische entiteiten (bestanden, applicaties, URL's, zoekopdrachten), terwijl randen temporele sequenties en "heeft_entiteit"-relaties coderen.
• Gedeelde Ruggegraat: Een enkele TGL-encoder (met relation-bewuste GATv2-lagen en een Jumping Knowledge-head) verwerkt de sessiegraf in één forward pass.
• Dubbel-Head Output:
  • Trigger Head: Werkt op gebeurtenisknopen om een waarschijnlijkheid ($p_{trig}$) uit te voeren over of de downstream-agent moet worden gewekt.
  • Routering Head: Werkt op entiteitsknopen om relevantiescores ($s_{rout}$) voor specifieke entiteiten uit te voeren, waarmee de gestructureerde context wordt geselecteerd die moet worden doorgestuurd.
• Downstream Uitvoering: De downstream taalagent (LLM) wordt alleen opgeroepen wanneer de trigger head een drempelwaarde overschrijdt. Deze consumeert de hoogscorende gerouteerde entiteiten als gestructureerde context om een vloeiende, gebruikersgerichte suggestie te genereren.

Belangrijkste Bijdragen

1. Formulering: Het artikel herformuleert proactief triggeren en contextselectie als een gezamenlijk knoop-niveau voorspellingsprobleem over een heterogene temporele graf, in plaats van een taalmodelleringprobleem. Dit maakt een lichtgewicht, altijd-aan controller mogelijk.
2. Architectuur: De auteurs realiseren een unificerend ontwerp waarbij een trigger-head en een routing-head een enkele TGL-ruggegraat delen. Ze worden gezamenlijk getraind tegen een gecombineerde doelstelling, waardoor de wekbeslissing en de selectie van bewijsmateriaal worden afgeleid uit dezelfde verborgen toestand in één forward pass.
3. Efficiëntie en Prestaties: De aanpak ontkoppelt de "altijd-aan"-beslissing van het zware redeneren van de LLM, en houdt de LLM voorbehouden voor momenten die de trigger overleven.

Experimentele Resultaten
Geëvalueerd op de ProactiveAgent desktop-benchmark over 14 diverse taal-agent-ruggegraten (variërend van 4B tot 8B open-gewicht modellen tot gesloten API's zoals GPT-4o en Claude-Opus):

• Prestatiewinst: De TGL-aanpak verbeterde F1-scores op elke ruggegraat, met een gemiddelde toename van +16,7 (bereik +3,1 tot +46,0). Opmerkelijk is dat het gefinetuned proactieve baselines (bijvoorbeeld Qwen2-7B-Proact.) overtrof door een kleine graf-encoder-add-on te gebruiken in plaats van aanpassing op parameterniveau.
• Kwaliteit van Trigger: De TGL-trigger behaalde de hoogste AUC-scores (0,738 op "moet-activeren"-gebeurtenissen) in vergelijking met op regels gebaseerde, tabulaire, tekstuele (BERT/MLP) en LLM-als-trigger baselines. Het toonde ook superieure kalibratie, waardoor één enkele globale drempelwaarde effectief voor alle ruggegraten kon dienen.
• Latentie en Voetafdruk:
  • Snelheid: TGL verwerkt gebeurtenissen in 11,13 ms op een GPU-server en 13,99 ms op een consumentenlaptop. Dit is 4–7× sneller dan single-forward LLM-triggers en 12–83× sneller dan LLM-triggers op consumentenhardware.
  • Geheugen: Het model heeft een resident voetafdruk van ~220 MiB (BF16), wat implementatie op het apparaat mogelijk maakt naast privacygevoelige activiteitsstromen. Daarentegen vereist een 8B LLM-trigger ongeveer 16 GB VRAM.

Betekenis en Claims
Het artikel stelt dat het "altijd-aan"-pad voor proactieve agenten fundamenteel een grafprobleem is, geen taalprobleem. Door activiteitsstromen te behandelen als grafupdates in plaats van tekstsequenties, vermijdt het systeem de inefficiëntie van het serialiseren van gestructureerde data voor een LLM om te parseren.

De auteurs betogen dat een eenvoudig ontwerpprincipe naar voren komt: houd een lichtgewicht temporeel model altijd aan om de "wek"- en "grondslag"-beslissingen te hanteren, en bewaar volledig LLM-redeneren alleen voor de momenten die deze trigger overleven. Deze aanpak bereikt state-of-the-art prestaties terwijl de latentie en computatiekosten drastisch worden verlaagd, waardoor real-time, op het apparaat werkende proactieve assistentie haalbaar wordt zonder privacy of responsiviteit te compromitteren. De studie suggereert dat trigger en contextselectie staat moeten delen om besluitdrift te voorkomen, een eigenschap die van nature wordt bereikt door de geünificeerde TGL-architectuur.