Technische Samenvatting: Statistische Priors voor Impliciete Voorkeuren

Probleemdefinitie

Het artikel behandelt een kritieke bottleneck in de implementatie van lokaal uitgevoerde persoonlijke agenten die vertrouwen op API-gebaseerde remote Large Language Models (LLMs). Naarmate het ecosysteem van externe vaardigheden (tools) groeit, moeten agenten dynamisch de meest geschikte vaardigheid voor een gebruiker selecteren. Echter, gebruikersvoorkeuren zijn vaak impliciet, wat zich manifesteert als stochastische, hoogfrequente gewoonten in plaats van expliciete instructies.

Huidige paradigma's vervagen twee onderscheidende cognitieve taken:

1. Semantische Intentie-analyse: Het begrijpen van expliciete gebruikersinstructies (bijv. "Bestel bij HouseBrew").
2. Statistisch Voorkeursleren: Het afleiden van latente gewoonten uit historische interacties (bijv. een gebruiker verkiest altijd "VibeCof'ing" voor koffie).

Bestaande oplossingen vertrouwen doorgaans op geheugen-geaugmenteerde LLMs, waarbij historische logs in de prompt worden geïnjecteerd om een enkele remote model te sturen. De auteurs stellen dat deze aanpak lijdt onder:

• Systemische Fouten: LLMs verliezen vaak logische consistentie in meerzaalgesprekken of falen in het bijhouden van fijnmazige statistieken.
• Resourcebeperkingen: Hoge API-latentie en contextvenster-overloop maken complexe gecentraliseerde algoritmen onpraktisch voor lokale, privacy-bewuste agenten.
• Gebrek aan Interpreteerbaarheid: Geheugen-gebaseerde benaderingen missen de wiskundige strengheid die nodig is voor het modelleren van voorkeursdistributies.

Methodologie: DE LOCAL HARNESS

Om deze problemen op te lossen, stelt het artikel LOCAL HARNESS voor, een nieuwe architectuur die statistisch voorkeursleren strikt ontkoppelt van semantische intentie-analyse.

Kernarchitectuur

Het systeem werkt volgens een "Lokale Statistische Schatter + Remote Exception Handler"-model:

1. Lokale Statistische Prior (De Harness): Een lichtgewicht, on-device module die de voorkeursdistributie van de gebruiker beheert. Het handelt de hoogfrequente besluitvorming en de exploratie-exploitatie trade-off af. Het artikel implementeert twee specifieke priors:
   • Frequentie Prior: Een eenvoudige empirische succesratio-tabel die $(user, domain, skill)$ tellingen bijhoudt.
   • Bandit Prior: Een contextuele bandit-aanpak (specifiek LINUCB) die een parametervector en een geregulariseerde Gram-matrix bijhoudt. Het gebruikt feature hashing om contextvectoren te creëren uit de query, de naam van de skill en het domein, wat geprincipieerde exploratie mogelijk maakt via Upper Confidence Bounds (UCB).
2. Remote LLM (De Override Handler): De remote LLM wordt verwijderd uit het kritieke uitvoeringspad voor standaard queries. Deze wordt alleen aangeroepen om te controleren op expliciete lexicale overrides.
   • Stap 1 (Domein Classificatie): Een enkele LLM-call concludeert het doel-domein om de kandidaat-vaardigheidsset te beperken.
   • Stap 2 (Lokale Default): De lokale harness selecteert de standaard vaardigheid op basis van de statistische prior.
   • Stap 3 (Semantische Override Probe): Een binaire probe vraat de LLM: "Noemt deze query expliciet een specifieke tool?" Indien ja, overschrijft de genoemde tool de lokale default; indien nee, wordt de lokale default uitgevoerd.

Theoretische Fundering

De auteurs leveren een theoretische analyse (Theorem 4.1) die bewijst dat onder milde aannames deze ontkoppelde architectuur de verwachte per-ronde regret strikt vermindert ten opzichte van een LLM-only baseline. De regret convergeert naar een waarde die strikt lager is dan de inherente foutmarge van de LLM, mits de lokale statistische prior consistent is. Het bewijs rust op het feit dat het uiteindelijke beleid een convexe combinatie is van de lokale prior en het beleid van de LLM, een structurele eigenschap die verloren gaat in geheugen-geaugmenteerde benaderingen waar signalen worden samengevoegd.

Experimentele Evaluatie

Omdat geen enkel bestaand benchmark model de impliciete voorkeur-gestuurde vaardigheidsselectie adresseert, hebben de auteurs TOOLBENCH-60 geconstrueerd, een sandbox met 60 vaardigheden over 10 domeinen en synthetische gebruikers met controleerbare voorkeursdistributies (variërend van deterministische "one-hot" tot stochastische Dirichlet-distributies).

Evaluatie Opzet:

• Backbones: Geëvalueerd over drie diverse LLMs: GPT-5.2, DeepSeek-V4-Flash, en Qwen3-30B-Instruct.
• Baselines: Negen agenten werden vergeleken, gecategoriseerd in:
  • Geen Leren: Random, ZeroShot-LLM.
  • Alleen Statistisch: Freq-Greedy, Pure-Bandit.
  • LLM met Geheugen: InContext-Memory (recente historie), Profile-Memory (volledig geserialiseerde logs).
  • LLM met Statistische Prior: Bandit-as-Context (LLM ziet bandit kansen), Freq-as-Override, Bandit-as-Override (de voorgestelde methode).

Belangrijkste Resultaten:

1. Superieure Prestaties: De BANDIT-AS-OVERRIDE agent behaalde consistent de laagste cumulatieve regret en de hoogste testnauwkeurigheid over alle backbones en voorkeursregimes.
2. Ontkoppeling vs. Geheugen: Geheugen-geaugmenteerde baselines (InContext/Profile) presteerden significant minder goed, wat bevestigt dat het injecteren van historie in prompts geen vervanging is voor een toegewijde statistische schatter.
3. Afhandeling van Overrides: Puur statistische agenten faalden bij expliciete queries (zero-shot semantische instructies). De LOCAL HARNESS bereikte bijna perfecte nauwkeurigheid op expliciete queries door de LLM strikt te reserveren voor de detectie van overrides.
4. Exploratie Waarde: De Bandit-gebaseerde prior presteerde beter dan eenvoudige frequentietelling, met name in stochastische (zachte) voorkeursregimes, wat de noodzaak van geprincipeerde exploratie aantoont.

Betekenis en Claims

Het artikel claimt een fundamentele architecturale fout te hebben geïdentificeerd in huidige persoonlijke agent-ontwerpen: de samensmelting van statistisch leren en semantisch redeneren.

• Architecturale Verschuiving: Het stelt een paradigmaverschuiving voor van "LLM-als-Brein" (dat alles afhandelt) naar "LLM-als-Exception-Handler" (die alleen expliciete overrides afhandelt), waarbij de modellering van gewoonten wordt gedelegeerd aan lichtgewicht lokale statistiek.
• Efficiëntie en Privacy: Door statistisch leren lokaal te houden, vermindert deze aanpak de API-latentie, voorkomt het contextoverloop en voldoet het aan strikte privacybeperkingen zonder de noodzaak van complexe gecentraliseerde infrastructuur.
• Robuustheid: Het ontkoppelde ontwerp zorgt ervoor dat de agent kan adapteren aan gebruikersgewoonten terwijl hij responsief blijft voor expliciete gebruikerscommando's, een balans die geheugen-geaugmenteerde benaderingen niet kunnen handhaven.

De auteurs concluderen dat dit ontkoppelde framework een robuust, wiskundig gefundeerd paradigma vestigt voor het ontwerp van gepersonaliseerde agenten, gevalideerd door zowel theoretische regret-bounds als uitgebreide empirische evaluatie.