Technische Samenvatting: ProactBench

Probleemdefinitie

Huidige benchmarks voor Large Language Models (LLM) evalueren voornamelijk reactieve competentie: hoe goed een model expliciete gebruikersverzoeken beantwoordt. Hoewel modellen aanzienlijk zijn verbeterd in het volgen van instructies, blijft een kritieke conversatievaardigheid ongemeten: conversatieve proactiviteit. Dit wordt gedefinieerd als het vermogen om behoeften op te merken en hierop te handelen die een gebruiker heeft geïmpliceerd maar niet expliciet heeft verwoord.

Bestaande evaluaties onderscheiden vaak niet tussen echte proactieve assistentie en reactief gedrag zoals:

• Instructievolgend: Gepolijste naleving van voor de hand liggende verzoeken.
• Verduidelijking zoeken: Vragen om informatie die de gebruiker al heeft verstrekt.
• Algemene behulpzaamheid: Standaard afsluitingen (bijv. "Laat het me weten als je iets nodig hebt") die geen onderbouwde waarde toevoegen.
• Sycofantie: Akkoord gaand maar epistemisch zwak gedrag.

Het artikel betoogt dat echte proactiviteit vereist dat een model niet-uitgesproken implicaties afleidt uit onthulde details en nuttige, vooruitkijkende waarde introduceert zonder daarvoor te worden aangespoord.

Methodologie

ProactBench introduceert een nieuw evaluatiekader dat is ontworpen om proactiviteit te meten over drie distincte conversatiefasen, waarbij gebruik wordt gemaakt van een drie-agentarchitectuur om geldigheid te waarborgen.

1. De drie trigger-types

De benchmark decomposeert proactiviteit in fase-gebonden trigger-types, elk met specifieke rubrieken:

• EMERGENT (Rondes 1–3): Het afleiden van een niet-uitgesproken behoefte uit een enkele onthulde anker (feitelijk detail) vroeg in het gesprek.
• CRITICAL (Rondes 4–7): Het synthetiseren van meerdere onthulde ankers tot een nieuwe conclusie midden in het dialoog.
• RECOVERY (Rondes 8–10): Het bieden van onderbouwde, vooruitkijkende waarde nadat de gebruiker taakvoltooiing heeft aangegeven. Deze fase is kritiek omdat het het moment is waarop modellen vaak behulpzaam klinken terwijl ze niets nuttigs zeggen.

2. Drie-agent evaluatiearchitectuur

Om te beschermen tegen scoren dat verward wordt door stijl, lekken in rubrieken, besmetting door externe context en informatiedumps, maakt de benchmark gebruik van:

• De Planner: Schrijft de dialoogstrategie, bepaalt wanneer een trigger optreedt en committeert zich tot een vooruitziende rubriek voordat het model antwoordt. Het ziet het persona en scenario, maar niet de communicatiestijl.
• De User Agent: Zet de tactische orders van de Planner om in natuurlijke gebruikersberichten op basis van een specifiek persona en een van de 24 communicatiestijlen afgeleid uit de Communication Styles Inventory (CSI).
• Het Assistant Model: Ontvangt alleen de natuurlijke conversatiegeschiedenis. Het is blind voor het persona, de rubriek, het trigger-schema en de verborgen doelen.
• De Offline Judge: Voert alleen de trigger-rondes van een gecureerd dialoog opnieuw uit om het antwoord te scoren tegen de vaste rubriek, waardoor identieke contexten voor alle geëvalueerde modellen worden gewaarborgd.

3. Dataset en protocol

• Corpus: 198 gecureerde dialogen met 624 triggerpunten.
• Variabiliteit: Dialogen omvatten 24 communicatiestijlen (combinaties van 6 CSI-eigenschappen: expressiviteit, precisie, verbaal agressiviteit, vraaggedrag, emotionaliteit en impressiemanipulatie) en 5 levensdomeinen (Professioneel, Sport, Kunst, Reizen, Culinaire).
• Cureren: Dialogen zijn gegenereerd met een "cold-start" isolatie waarbij het curerende model (Gemini-2.5-Pro) geen toegang had tot de rubriek of verborgen doelen, zodat de conversatiegeschiedenis alleen informatie bevat die een echte assistent natuurlijk zou bezitten.
• Scoren: Antwoorden worden beoordeeld als Pass, Partial of Fail op basis van of ze voldoen aan het proactieve principe (bijv. afleiding uit een enkele anker, synthese uit meerdere ankers, of onderbouwde vooruitkijkende waarde).

Belangrijkste bijdragen

1. Definitie van Conversatieve Proactiviteit: Een formele definitie die proactiviteit scheidt van instructievolgend gedrag, verduidelijking en algemene behulpzaamheid, gestructureerd in drie fase-gebonden trigger-types.
2. Evaluatiearchitectuur: Een drie-agent systeem (Planner, User Agent, Assistant) met informatie-asymmetrieën die vier specifieke geldigheidsbedreigingen die vaak voorkomen bij LLM-as-judge evaluaties mitigeert.
3. Het ProactBench Corpus: Een release van 198 dialogen met 624 triggers, gebaseerd op synthetische Amerikaanse persona's en variërend over 24 communicatiestijlen, geaudit door een onafhankelijke LLM-judge.
4. Empirische Evaluatie: Een uitgebreide evaluatie van 16 frontier- en open-weight modellen, die aantoont dat RECOVERY een distincte vaardigheid is die niet correleert met standaard benchmarks.
5. Menselijke Validatie: Een gepaarde menselijke studie die aantoont dat rubriek-geconditioneerde proactieve antwoorden in 80% van de niet-gelijkspel-vergelijkingen worden verkiest boven generieke generaties, wat bevestigt dat de benchmark een vaardigheid meet die mensen waarderen.

Resultaten

De evaluatie van 16 modellen (waaronder GPT-5.5, Claude-Opus-4.7, Qwen3.5 en Llama-varianten) levert enkele belangrijke bevindingen op:

• RECOVERY is moeilijk en distinct: RECOVERY is het moeilijkste trigger-type. Het beste model (GPT-5.5) slaagt slechts voor 37,2% van de RECOVERY-triggers, terwijl 14 van de 16 modellen minder dan 20% halen.
• Decorrelatie met standaard benchmarks: Hoewel EMERGENT- en CRITICAL-scores sterk correleren met bestaande benchmarks (GPQA, MMLU, SWE-bench, enz.), doet RECOVERY dit niet. De gemiddelde correlatie met zes standaard benchmarks is $\bar{r} = 0,51$ (95% CI [0,29, 0,71]), vergeleken met $\bar{r} \approx 0,83$ voor de andere types.
  • Voorbeeld: Kimi-K2.6 presteert beter dan GPT-5.5 op LiveCodeBench en SWE-bench, maar scoort 5x lager op RECOVERY (7,4% versus 37,2%).
• Beleid versus Vaardigheid: De kloof in RECOVERY-prestaties lijkt een beleidverschil te weerspiegelen (bijv. mix van post-training data en feedback van gebruikerssessies) in plaats van een puur vaardigheidsplafond. GPT-5.5 vertoont een "stijl-uniform" beleid, waarbij het hoge RECOVERY-prestaties handhaaft over moeilijke gebruikersstijlen heen, terwijl andere sterke modellen hun voordeel concentreren op eenvoudigere stijlen.
• Foutmodi:
  • Frontier gesloten-bron modellen (exclusief GPT-5.5) falen voornamelijk via generieke afsluitingen (gepolijst maar lege afsluitingen).
  • GPT-5.5 en kleinere open-weight modellen falen voornamelijk via herhaling van leverables (het herhalen van de voltooide taak zonder nieuwe waarde toe te voegen).
• Menselijke voorkeur: In een gecontroleerde studie prefereerden mensen antwoorden gegenereerd met de RECOVERY-rubriek als systeeminstructie boven generieke generaties in 80% van de gevallen, zelfs wanneer het generieke antwoord de rubriek al had gehaald.

Betekenis en claims

Het artikel claimt dat ProactBench een "blinde vlek" identificeert in de huidige LLM-evaluatie. Hoewel modellen steeds bekwaamer worden in het volgen van instructies, worstelen ze met het bieden van onderbouwde vooruitkijkende waarde nadat een taak ogenschijnlijk voltooid is.

De auteurs stellen het volgende:

1. RECOVERY is een nieuw evaluatiesignaal: Het wordt zwak voorspeld door standaard redeneer- en coderingsbenchmarks, wat suggereert dat het een distincte gedragsvaardigheid meet.
2. Proactiviteit wordt door mensen geprefereerd: De specifieke proactieve gedragingen die door ProactBench worden gedefinieerd en gemeten, zijn niet zomaar "overdreven opvoedgedrag", maar worden echt geprefereerd door menselijke beoordelaars wanneer ze zijn gebaseerd op specifieke onthulde details.
3. De kloof is gedragsmatig, niet alleen cognitief: De variatie in RECOVERY-prestaties tussen modellen suggereert dat huidige frontier-modellen verschillen in hun "beleid" ten aanzien van initiatief, waarschijnlijk gedreven door alignement-data, in plaats van een fundamenteel gebrek aan redeneervermogen.

Het artikel concludeert dat ProactBench dient als een vaardigheidsproef voor dit specifieke gedrag, en een substraat biedt voor reward modeling en preference learning om modellen te leren wanneer initiatief welkom is, in plaats van ze te trainen om in alle contexten maximaal proactief te zijn.