Just-In-Time Objectives: A General Approach for Specialized AI Interactions

Dit paper introduceert 'Just-In-Time Objectives', een architectuur die door passieve observatie van gebruikersgedrag specifieke doelen afleidt om grote taalmodellen direct te specialiseren in het genereren van hoogwaardige, op maat gemaakte tools en antwoorden die significant beter presteren dan standaard LLM-chatbots.

De kern

Hier is een uitleg van het onderzoek, vertaald naar eenvoudig Nederlands met behulp van creatieve metaforen.

De Kernprobleem: De "Alles-kunnen" AI die niets goed doet

Stel je voor dat je een supergetrainde kok (een AI) huurt om een maaltijd voor je te maken. Je zegt alleen: "Maak iets lekkers."

De kok is erg slim en kan van alles koken. Maar omdat je niet hebt gezegd of je honger hebt, of je vlees wilt, of of je een snelle lunch of een uitgebreid diner nodig hebt, maakt de kok een heel veilig, generiek gerecht. Misschien een simpele soep. Het is niet vies, maar het is ook niet precies wat je nodig had.

Dit is precies wat er gebeurt met huidige AI's (zoals ChatGPT). Ze zijn getraind om "veilig" en algemeen te zijn, omdat ze niet weten wat je nu precies wilt. Ze geven je standaard antwoorden die voor iedereen werken, maar voor niemand echt perfect zijn.

De Oplossing: "Just-In-Time" Doelen (Op het Moment)

De auteurs van dit paper, Michelle Lam en haar team, hebben een slimme oplossing bedacht: Just-In-Time Objectives (op het moment doelstellingen).

In plaats van dat jij de AI moet uitleggen wat je wilt (wat vaak lastig is), laat je de AI kijken wat je doet en raden wat je doel is.

De Metafoor: De Meesterkook
Stel je voor dat je kok niet wacht tot jij zegt wat je wilt, maar dat hij door een raam naar je keuken kijkt.

• Hij ziet dat je een grote pan met een romige saus hebt en dat je er kruiden bij doet.
• Hij ziet dat je een briefje hebt met daarop "Voor de schoonmoeder".
• Direct begrijpt hij: "Ah, dit is een verfijnde saus voor een formele maaltijd. Ik moet niet zomaar een soep maken, maar de saus perfectioneren en de smaak afstemmen op een kritische schoonmoeder."

De AI schakelt dan direct over van "algemeen koken" naar "specifiek perfectioneren van deze saus". Dat is een Just-In-Time doel.

Hoe werkt dit in de praktijk? (Het systeem 'Poppins')

Het team heeft een systeem gebouwd dat Poppins heet (naar Mary Poppins, die altijd de juiste tool had voor elke situatie).

1. Kijken: Poppins kijkt mee naar wat je op je scherm doet (bijvoorbeeld een tekst schrijven, een ontwerp maken of een code schrijven).
2. Gissen: De AI denkt na: "Wat is deze persoon nu precies aan het proberen te bereiken?"
   • Voorbeeld: Je schrijft een wetenschappelijk artikel. De AI ziet dat je vastloopt in een paragraaf. Het doel wordt niet "help me schrijven", maar specifieker: "Maak de argumentatie in deze paragraaf overtuigender voor een kritische reviewer."
3. Actie: De AI gebruikt dit specifieke doel om een specifiek hulpmiddel te bouwen voor jou.
   • Soms is dat een expert: Een virtuele wetenschapper die precies weet waar je over schrijft en je feedback geeft.
   • Soms is dat een tool: Een klein programmaatje dat je helpt om je diagrammen te tekenen of je tekst te controleren op specifieke fouten.

Wat hebben ze ontdekt? (De resultaten)

Ze hebben dit getest met echte mensen die aan hun eigen werk zaten (zoals het schrijven van papers, verhalen of plannen).

• Beter dan normaal: De antwoorden en tools die Poppins maakte, werden door de gebruikers veel liever gevonden dan de standaard AI-antwoorden. De winst was enorm: tussen de 66% en 86% van de tijd was de "Just-In-Time" versie beter.
• Minder gedoe: Mensen hoefden niet meer urenlang te proberen de AI de juiste instructies te geven. De AI deed het werk voor hen door te kijken wat ze deden.
• Unieke tools: Voor één persoon werd een tool gemaakt om personages in een verhaal consistent te houden. Voor een ander werd een tool gemaakt om technische schema's te tekenen. Iedereen kreeg iets dat precies bij hen paste.

Waarom is dit belangrijk?

Tot nu toe moesten we de AI vertellen wat we wilden, en vaak wisten we zelf niet precies hoe we dat moesten zeggen. Nu kan de AI meedenken door te kijken naar onze context.

Het is alsof je niet meer een generieke handleiding krijgt voor een gereedschap, maar dat de gereedschapskist zichzelf aanpast aan het project dat je nu in je handen hebt.

Kortom:
In plaats van dat de AI een saaie, veilige antwoorden geeft voor iedereen, leert deze paper ons hoe we de AI kunnen laten kijken naar wat we nu doen, zodat hij precies datgene maakt wat we op dat moment nodig hebben. Het maakt de AI van een "algemene assistent" naar een "persoonlijke specialist".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Just-In-Time Objectives: A General Approach for Specialized AI Interactions" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLM's) beloven een breed scala aan functies, maar zonder een specifiek doel leveren ze vaak generieke, "veilige" en onpersoonlijke resultaten op. Dit komt doordat de trainingsdoelen van LLM's vooraf worden gedefinieerd en moeten aannemen wat gebruikers nodig hebben. Het optimaliseren op meerdere doelen tegelijk (zoals redeneren, waardenalignering en voorkeursdata) leidt tot een convergentie naar gemiddelde uitkomsten. Gebruikers worstelen vaak met het formuleren van specifieke prompts ("underspecified prompts") en hebben moeite om het gedrag van het model te visualiseren of te sturen, wat resulteert in een "Gulf of Envisioning" (het gat tussen wat de gebruiker wil en wat het model doet). Bestaande systemen missen de mogelijkheid om zich dynamisch aan te passen aan de specifieke, momentopname-gerichte doelen van een gebruiker.

Methodologie: Just-In-Time (JIT) Doelen

De auteurs introduceren Just-In-Time (JIT) doelen: een architectuur die de gebruiker's doelen in real-time infereert op basis van passieve observatie van hun gedrag en context, en deze doelen gebruikt om het AI-gedrag direct te sturen.

De kern van de methode bestaat uit drie stappen:

1. Doel-Inductie (Objective Induction):

   • Het systeem observeert de gebruikerscontext (bijv. screenshots van het scherm, tekst uit documenten, bestanden).
   • Een Vision Language Model (VLM) analyseert deze context om de intentie van de gebruiker te infereren.
   • Het systeem genereert een gestructureerde JSON-specificatie van het doel, inclusief een naam, een korte beschrijving en een "gewicht" (1-10) dat de belangrijkheid aangeeft.
   • Voorbeeld: In plaats van een generiek "help mij schrijven", infereert het systeem: "Verduidelijk de onderzoeksbijdrage in het abstract" of "Versterk het narratieve argument".

2. Generatie met JIT-doelen (gen_objective):

   • Het geïnduceerde doel wordt als context toegevoegd aan de instructies voor de generatieve LLM.
   • Dit stopt de generatie van content (zoals feedback, tool-ontwerpen of code) zodat deze specifiek gericht is op het geïnduceerde doel, in plaats van op algemene kwaliteit.

3. Evaluatie met JIT-doelen (eval_objective):

   • Een evaluatiemodule (vaak een "LLM-as-a-judge") beoordeelt gegenereerde kandidaten.
   • Het JIT-doel fungeert hier als de evaluatiemaatstaf. Het systeem selecteert niet alleen de "beste" generieke output, maar de output die het beste voldoet aan het specifieke gebruikersdoel.
   • Dit maakt een "Generate-then-Rank" architectuur mogelijk, waarbij duizenden kandidaten kunnen worden gegenereerd en gefilterd op basis van de specifieke gebruikersintentie.

Implementatie: Poppins
De auteurs hebben deze architectuur geïmplementeerd in Poppins, een browserextensie en webapplicatie. Poppins observeert het scherm van de gebruiker en biedt twee vormen van hulp:

• Poppins-experts: Genereert gespecialiseerde expert-perspectieven (bijv. een "HCI-onderzoeker" of "Technisch Schrijver") en feedback die is afgestemd op het JIT-doel.
• Poppins-tools: Genereert volledig functionele, interactieve softwaretools (HTML/JS/Svelte) die specifiek zijn ontworpen voor de huidige taak van de gebruiker (bijv. een diagramtool voor systeemarchitectuur of een emotie-tracker voor een verhaal).

Belangrijkste Bijdragen

1. Een generieke architectuur voor JIT-doelen: Een model dat gebruikersdoelen automatisch infereert uit interactietraces en deze toepast om LLM's te specialiseren zonder handmatige prompting.
2. Het Poppins-systeem: Een werkend bewijs van concept dat JIT-doelen vertaalt naar functionele interactieve tools en expert-feedback, waarbij de gebruiker de doelen kan zien en aanpassen.
3. Validatie: Uitgebreide evaluaties die aantonen dat JIT-doelen accuraat zijn en leiden tot outputs die significant beter worden beoordeeld dan die van standaard LLM's.

Resultaten

De auteurs hebben drie studies uitgevoerd om de effectiviteit te testen:

• Study 1 (N=14) & Study 2 (N=205): De geïnduceerde JIT-doelen werden door gebruikers beoordeeld als zeer accuraat (gemiddelde score ~2.0 op een schaal van -3 tot +3) en nuttig. In Study 2 kozen 97,8% van de deelnemers voor een geïnduceerd doel in plaats van een zelfgeschreven doel.
• Win-rates: Outputs gegenereerd met JIT-doelen (experts, tool-ontwerpen, feedback) wonnen in 66% tot 86% van de gevallen van een baseline LLM (die geen JIT-doel gebruikte).
• Best-of-N Evaluatie: Het gebruik van een JIT-evaluator om de beste kandidaat te selecteren uit een set van generaties (bijv. Best-of-100) leverde aanzienlijk betere resultaten op dan zonder evaluatie.
• In-lab sessies (N=17): De gegenereerde tools waren relevant en nuttig zonder dat gebruikers handmatig prompts hoefden te schrijven. De kwaliteit van Poppins-outputs werd significant hoger beoordeeld dan die van een standaard chat-interface (p < .05). De tools varieerden van "Character Emotion Trackers" voor fictie tot "Neural Architecture Search Explorers" voor onderzoek.

Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in Human-AI-interactie:

• Van Generiek naar Specifiek: Het lost het probleem van generieke AI-uitkomsten op door doelen "on-demand" te creëren op basis van de huidige context, in plaats van te vertrouwen op vooraf ingestelde, statische doelen.
• Gebruikersbevoegdiging: Het stelt gebruikers in staat hun eigen tools en interfaces te vormgeven zonder technische expertise, door de AI te sturen via geïnduceerde doelen in plaats van complexe prompts.
• Toekomst van UI: Het suggereert dat toekomstige interfaces dynamisch en adaptief kunnen zijn, waarbij de interface zelf (widgets, tools) wordt gegenereerd op basis van wat de gebruiker op dat moment probeert te bereiken.
• Ethische Overwegingen: Het paper benadrukt ook de risico's, zoals privacy (het observeren van het scherm), de verantwoordelijkheid voor gegenereerde inhoud, en het gevaar dat gebruikers te passief worden en de geïnduceerde doelen blindelings accepteren.

Samenvattend bewijst dit werk dat het passief observeren van gebruikers en het vertalen daarvan naar expliciete, bewerkbare doelen een krachtige methode is om AI-systemen te specialiseren en te maken tot waardevolle, op maat gemaakte hulpmiddelen.