Technische Samenvatting: DISCOVERLLM

Probleemformulering

Huidige Large Language Models (LLM's) worden voornamelijk getraind om gebruikersintenties uit te voeren en op te halen, opererend onder de aanname dat gebruikers interacties beginnen met volledig gevormde, zij het soms onuitgesproken, doelen. Echter, bij open-ended, creatieve en slecht gedefinieerde taken (bijvoorbeeld schrijven, ontwerpen) missen gebruikers vaak aanvankelijk duidelijke intenties. In plaats daarvan ontdekken ze wat ze willen door potentiële uitkomsten te observeren en te verkennen. Bestaande benaderingen, waaronder multi-turn fine-tuning en prompt-strategieën, gaan er doorgaans van uit dat intenties verborgen maar statisch zijn, met als focus het blootleggen ervan via verduidelijkende vragen. Dit faalt wanneer gebruikers vragen als "welke toon wil je?" niet kunnen beantwoorden, omdat ze die voorkeur nog niet hebben gevormd. De kernuitdaging is om modellen te trainen die niet alleen bestaande intenties ophalen, maar gebruikers actief helpen hun intenties te ontdekken en te vormen door middel van collaboratieve exploratie.

Methodologie: Het DISCOVERLLM-kader

De auteurs stellen DISCOVERLLM voor, een generaliseerbaar trainingskader dat intentieontdekking operationaliseert als een apart probleem van intentie-ophaling. Het kader vertrouwt op een innovatieve Gebruikssimulator die de cognitieve staat van een gebruiker modelleert met een latente, hiërarchische intentiestructuur.

1. Intentieontdekking door interactie

Het kader formaliseert intentievorming als een progressief verfijningproces ($I_0 \subseteq I_1 \subseteq \dots \subseteq I_T$).

• Latente Intentiehiërarchie: Gebruikersintenties worden weergegeven als een boomhiërarchie ($H$) waarbij knopen variëren van breed (bijvoorbeeld "bevat een dier") tot specifiek (bijvoorbeeld "bevat een tabbykat die op de bank slaapt").
• Ontdekkingstoestanden: Knopen bestaan in toestanden van ongedekt, opkomend of ontdekt. Een gebruiker kan alleen intenties articuleren die ontdekt zijn.
• Antwoordgedreven Progressie: Het antwoord van de assistent ($r_t$) bepaalt staatsovergangen.
  • Directe betrokkenheid: Als het antwoord expliciet vraagt naar of voldoet aan een intentie, wordt de knoop ontdekt.
  • Tangentiële betrokkenheid: Als het antwoord gerelateerde maar niet-overeenkomende opties biedt (bijvoorbeeld het voorstellen van een hond wanneer de gebruiker een kat wil), draagt dit bij aan een cumulatieve score. Het overschrijden van een drempelwaarde brengt de knoop van ongedekt naar opkomend of ontdekt, en modelleert hoe gebruikers voorkeuren verduidelijken door te zien wat ze niet willen.
• Expressiviteitsbeperking: Gebruikers in de simulatie kunnen alleen intenties uiten die ze hebben ontdekt. Als een intentie slechts opkomend is, kan de gebruiker alleen vage feedback geven (bijvoorbeeld "misschien iets anders"), waardoor het model wordt voorkomen dat het simpelweg om specifieke details vraagt die de gebruiker nog niet kan geven.

2. Beloningsberekening

Het kader berekent een beloning per beurt ($R$) om training te sturen:

• Ontdekkingsprogressie ($R_d$): Meet de toename in het aantal ontdekte intenties ($|I_{t+1}| - |I_t|$). Dit beloont het model voor het blootleggen van latente voorkeuren.
• Efficiëntiestraf ($R_e$): Straft excessive antwoordlengte af om beknopte interacties te stimuleren.
• Totale Beloning: $R(r_t) = R_d(r_t) + R_e(r_t)$. Het ontwerp prioriteert eerst ontdekking, met efficiëntie als secundaire beperking.

3. Trainingspijplijn

Met behulp van de gebruikssimulator en de beloningsfunctie ondersteunt het kader meerdere trainingsparadigma's:

• Synthetische datageneratie: Conversaties simuleren om hoogwaardige datasets te genereren voor Supervised Fine-Tuning (SFT).
• Preferentieoptimalisatie: Het creëren van paarwijze vergelijkingen (gekozen versus verworpen antwoorden) voor Direct Preference Optimization (DPO).
• Online versterkende leer: Het direct optimaliseren van modellen op het beloningssignaal met algoritmen zoals PPO of GRPO.

Belangrijkste bijdragen

1. Formalisatie van intentieontdekking: Het artikel onderscheidt tussen het ophalen van verborgen intenties en het ontdekken van ongevormde intenties, en stelt een formeel model voor waarbij intentieconcretisering wordt gedreven door de exploratie van de oplossingsruimte door de assistent.
2. Nieuwe gebruikssimulator: Een simulator die gebruikerscognitieve toestanden modelleert als een hiërarchie van intenties, waardoor de berekening van beloningen voor intentieontdekking mogelijk wordt – een capaciteit die eerder niet beschikbaar was in standaard trainingsopstellingen.
3. Trainingskader: Een complete pijplijn (SFT, DPO, RL) die LLM's leert om divergentie (opties verkennen om abstracte intenties te toetsen) en convergentie (output verfijnen om concrete intenties te bevredigen) in evenwicht te brengen.

Experimentele resultaten

Het kader werd geëvalueerd over drie domeinen: Creatief Schrijven, Technisch Schrijven en SVG-tekenen, met Llama-3.1-8B-Instruct en Qwen3-8B als basismodellen.

• Prestatiewinst: DISCOVERLLM behaalde meer dan 10% hogere intentieontdekking en 11% hogere intentievoldoening vergeleken met de beste baselines (waaronder prompting en COLLABLLM).
• Efficiëntie: Het verkortte de conversatielengte met maximaal 40% terwijl de taakprestaties behouden of verbeterd bleven.
• Interactiviteit: Interactiviteitsscores steeg met 83%, wat wijst op effectievere samenwerking.
• Gedragsanalyse: In tegenstelling tot basismodellen die puur convergent neigen (enkelvoudige concepten herzien) of SFT-modellen die overfitten op divergentie (eindeloze opties bieden), vertoonden DISCOVERLLM-varianten een gebalanceerd patroon van afwisseling tussen divergente exploratie en convergente verfijning.
• Generalisatie: De aanpak generaliseerde naar ongezette domeinen (reisplanning, webontwikkeling) en verschillende simulatorconfiguraties (variërende backbone-LLM's en update-regels).
• Gebruikersstudie: In een studie met 75 menselijke deelnemers leverde DISCOVERLLM hogere interactie- en schrijftevredenheidsscores op en verkortte het de taakvoltooiingstijd vergeleken met baselines. Deelnemers merkten op dat het model leek te "anticiperen" op hun latente intenties.

Betekenis en claims

Het artikel claimt dat DISCOVERLLM een verschuiving vertegenwoordigt in mensgerichte AI: van modellen die simpelweg instructies uitvoeren naar proactieve partners die problemen samen met gebruikers verkennen en vormgeven. Door de cognitieve realiteit aan te pakken dat gebruikers hun behoeften vaak door actie ontdekken in plaats van vooraf te plannen, stelt het kader AI in staat om slecht gedefinieerde, open-ended taken effectiever te ondersteunen. De auteurs benadrukken dat deze aanpak de veiligheidsuitlijning niet in gevaar brengt en een schaalbare methode biedt voor het trainen van modellen om samen te werken aan complexe, creatieve ondernemingen waarbij gebruikersintentie aanvankelijk vloeibaar is. Het werk suggereert dat toekomstige AI-systemen zo ontworpen moeten worden dat ze deze co-evolutie van probleem- en oplossingsruimten faciliteren, in plaats van uit te gaan van statische gebruikersdoelen.