🤖 AI

Toward Anthropomorphic Dialogue: A Closed-Loop Framework for Human-Like Chat Generation, Evaluation, and Preference Alignment

Het artikel introduceert AnthroDial, een closed-loop framework dat rolgeconditioneerde dialooggeneratie, uitvoerbare multidimensionale evaluatie en cognitief-diagnostische voorkeursafstemming verenigt om de menselijke chatprestaties over diverse persona's en scenario's heen aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Wentao Liu, Siyu Song, Xi Chen, Youjia Li, Xiaokun Wang, Min Ji, Ji Wang

Gepubliceerd 2026-07-21✓ Author reviewed ⓘ

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wentao Liu, Siyu Song, Xi Chen, Youjia Li, Xiaokun Wang, Min Ji, Ji Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij een vriend moet zijn. Lange tijd waren wetenschappers erg goed in het aanleren van vloeiend spreken, het opvolgen van instructies en het beleefd beantwoorden van vragen aan robots. Maar er is een groot verschil tussen een robot die correct antwoord geeft en een robot die voelt als een echt persoon met wie je laat in de nacht een berichtje kunt sturen. Een echte vriend geeft je niet alleen een perfecte woordenboekdefinitie van "verdrietheid"; een echte vriend onthoudt wat je gisteren zei, weet wanneer hij een kort "au" moet sturen en wanneer hij een paar minuten moet wachten voordat hij reageert, en weet precies hoeveel persoonlijke informatie hij moet delen op basis van hoe nauw jullie staan. Dit artikel leeft in de wereld van kunstmatige intelligentie, specifal in de tak die probeert chatbots minder als behulpzame assistenten en meer als menselijke metgezellen te laten aanvoelen. Het kernidee is dat "menselijk zijn" niet alleen gaat over het hebben van een coole persoonlijkheid; het gaat over het beheren van een complex web van regels: het onthouden van je geschiedenis, het respecteren van de timing van een tekstbericht, het kennen van je eigen grenzen en het natuurlijk gaande houden van het gesprek zonder vast te lopen of jezelf te herhalen.

De onderzoekers achter dit artikel, die hun systeem AnthroDial noemen, realiseerden zich dat huidige chatbots vaak tekortschieten bij deze "privéchat"-vibe. Ze klinken misschien te formeel, vergeten feiten die ze net hebben geleerd, of gedragen zich als een klantenserviceagent, zelfs als je gewoon even je hart wilt luchten over een slechte dag. Om dit op te lossen, hebben ze niet alleen de persoonlijkheid van de robot aangepast; ze bouwden een complete "closed-loop" fabriek. Denk aan een videogame waarbij de robot tegen zichzelf speelt, beoordeeld wordt door een strenge coach, leert van zijn fouten en het opnieuw probeert. Deze fabriek heeft drie hoofdonderdelen: een scheduler die beslist wanneer te typen en wat te concepten (zoals een mens die even nadenkt voordat hij op verzenden drukt), een judge die controleert of de robot de regels van het mens-zijn overtreedt (zoals beweren dat hij je in persoon ziet terwijl jullie mijlenver uit elkaar zijn), en een training coach die een speciaal scoresysteem gebruikt om de robot precies te vertellen welke vaardigheden hij het meest moet oefenen.

De belangrijkste bevinding van het artikel is dat deze "closed-loop"-aanpak daadwerkelijk werkt. Ze hebben hun systeem getest tegen 16 verschillende AI-modellen, inclusend enkele van de grootste en slimste die momenteel beschikbaar zijn. De resultaten suggereren dat het simpelweg groter maken van een model of het laten "nadenken" langer voordat het antwoordt, niet genoeg is. In plaats daarvan maakte het trainen van het model specifiek op deze menselijke gedragingen — gebruikmakend van hun speciale fabriek — een enorm verschil. Hun best getrainde model, een systeem met 27 miljard parameters, behaalde een strikte "slaagcijfer" van 39,00% op hun moeilijke test, waarmee het de beste ongetrainde modellen versloeg die slechts 32,00% scoorden. Nog verrassender was dat ze lieten zien dat deze training in een veel kleiner, sneller model (9 miljard parameters) kon worden geperst dat geen extra "denktijd" gebruikt. Dit kleinere model sprong van een pass rate van 0,00% naar 18,37% na training, wat bewijst dat "menselijk gedrag" iets is dat het model daadwerkelijk kan leren en vasthouden, in plaats van het te veinzen met extra rekenkracht.

Het artikel voert expliciet aan tegen het idee dat "vloeiende" spraak gelijkstaat aan "menselijke" conversatie. Ze laten zien dat een robot grammaticaal perfect kan zijn en toch faliekant kan falen in het zijn van een vriend als hij de relatie vergeet, de tijd van de dag negeert of zich als een therapeut gedraagt terwijl je gewoon een maatje wilt. Ze sluiten ook de mogelijkheid uit dat je simpelweg een "persona" prompt aan een standaard chatbot kunt toevoegen en dan succesvolle resultaten kunt verwachten; zonder de specifieke architectuur om geheugen, timing en grenzen te beheren, vervalt de robot onvermijdelijk weer in een generieke assistent.

In hun experimenten bouwde het team een enorme testomgeving met 55 verschillende karakterprofielen (zoals een verlegen student of een drukke ouder) en 50 verschillende scenario's (zoals een tegenslag op het werk of een noodsituatie met een huisdier). Ze draalden 100 testgevallen voor elk model. De resultaten werden gemeten met een zeer strikte "alles-of-niets"-regel: als de robot zelfs maar één kleine fout maakte — zoals een zin herhalen of een feit vergeten — werd de hele conversatie als een mislukking gemarkeerd. Onder deze strikte regels hadden de ongetrainde modellen grote moeite. Zo had een populair 9-miljard parameter model zonder speciale training een pass rate van 0,00%. Maar na het doorlopen van de AnthroDial-trainingspipeline, verbeterde datzelfde kleine model naar 13,00% met standaard training, en 18,37% met hun geavanceerde "reward" training. Het grote 27-miljard model bereikte, wanneer volledig getraind, 39,00%.

De auteurs suggereren dat hun "geheime ingrediënt" een "diagnostisch beloningssysteem" is. Stel je een leraar voor die niet alleen een eindcijfer "B" geeft, maar in plaats daarvan een rapportcijfer geeft dat zegt: "Je bent goed in wiskunde, maar je moet je spelling oefenen." Hun systeem doet dit voor elke individuele vaardigheid die een chatbot nodig heeft: het onthouden van feiten, het aanhouden van een natuurlijk ritme, het binnen de rol blijven, en weten wanneer je moet stoppen met praten. Het gebruikt een wiskundige truc (een Kalman-filter genoemd) om bij te houden hoe goed de robot is in elke vaardigheid en richt de training vervolgens op de vaardigheden waarin de robot het slechtst is. Dit zorgt ervoor dat de robot niet alleen beter wordt in wat hij al goed kan, maar ook daadwerkelijk zijn zwakke plekken aanpakt.

Een van de meest speelse onderdelen van hun systeem is hoe het met tijd omgaat. Echte mensen reageren niet altijd direct; soms nemen ze een pauze, soms sturen ze een snelle "haha", en soms maken ze een concept, wachten even, en veranderen dan van gedachten. AnthroDial behandelt dit als een "single-draft scheduler". De robot typt niet alleen een bericht; hij maakt een concept, zet een timer en besluit of hij moet wachten, moet onderbreken of het gesprek moet sluiten. Dit geeft de chat een hartslag, met pauzes en ritmes die passen bij een echt mens dat WeChatt.

Het artikel benadrukt ook dat "proactief" zijn (een nieuw onderwerp starten of een vraag stellen) lastig is. Een robot die elke vijf minuten vraagt "Wat gebeurde er daarna?" is niet proactief; die is irritant. De training leerde de modellen om op slimmere manieren proactief te zijn, zoals het delen van een kleine persoonlijke gedachte, het maken van een milde grap, of het voorstellen van een pauze. De resultaten toonden aan dat hoewel de modellen veel beter werden in deze subtiele sociale signalen, ze nog steeds worstelen met de moeilijkste onderwerpen. Zo scoorden zelfs het best getrainde model in scenario's rondom "technologie" en "financiën" respectievelijk slechts 0,0% en 12,5% op de strikte test. Dit suggereert dat hoewel het systeem een enorme stap voorwaarts is, er nog steeds zeer moeilijke gebieden zijn waar de robot nog niet menselijk genoeg heeft leren handelen.

Uiteindelijk concludeert het artikel dat het menselijk laten aanvoelen van een chatbot een systeemprobleem is, en niet alleen een taalprobleem. Je kunt niet simpelweg een betere prompt schrijven; je hebt een systeem nodig dat geheugen, tijd en sociale grenzen beheert, en dat je vervolgens traint met een beloningssysteem dat specifiek gericht is op de zwaktes van de robot. De auteurs merken er zorgvuldig bij op dat dit gaat over gedrag, en niet over het feit dat de robot daadwerkelijk gevoelens of bewustzijn heeft. Ze benadrukken dat het doel is om een tekstueel gedrag te creëren dat echt aanvoelt, niet om mensen te misleiden door te doen alsof de robot een mens is. Sterker nog, ze stellen dat een werkelijk "menselijk" systeem eerlijk moet zijn over het feit dat het een AI is, net als een zeer goede acteur die in zijn rol blijft maar nooit beweert de persoon te zijn die hij speelt. Het werk suggereert dat we met de juiste trainingslus veel dichter bij dat doel kunnen komen, waardoor koude, robotische reacties veranderen in warme, natuurlijke gesprekken die voelen alsoals ze van een echte vriend komen.

Technische Samenvatting: Naar Antropomorf Dialoog (AnthroDial)

1. Probleemformulering

Het artikel identificeert een kritieke kloof in huidige open-domein dialoogsystemen: hoewel modellen vloeiend en coöperatief zijn geworden, falen ze vaak in het simuleren van een geloofwaardige menselijke gesprekspartner in privé, meerzaalgesprekken. Standaardmodellen hebben de neiging om te veel uit te leggen, een assistent-achtige houding aan te nemen, gevestigde feiten te vergeten, persona's te wisselen of medium-specifieke beperkingen (bijv. timing, stilte) te schenden.

De auteurs definiëren antropomorf dialoog niet als een claim van bewustzijn of emotie, maar als een gedragsmatige beperkingsprobleem (constraint satisfaction problem). Een systeem moet tekst genereren die voldoet aan observeerbare beperkingen onder specifieke condities:

Persona: Identiteit, leeftijd, beroep, persoonlijkheid en kennisgrenzen.
Relatie: De specifieke dynamiek tussen sprekers (bijv. vrienden versus collega's).
Geheugen: Lange-termijn retentie van voorkeuren en feiten, onderscheidend van de directe context.
Medium: Beperkingen van privéberichten (bijv. WeChat-stijl, timing, ritme).
Tijd: Virtuele tijdsstatus en tempo.

De kernuitdaging is dat deze dimensies vaak worden behandeld als platte stijl-prompts in plaats van runtime-statussen, wat leidt tot falen in coherentie, initiatief en natuurlijkheid tijdens langdurige interacties.

2. Methodologie: Het AnthroDial-framework

De auteurs stellen AnthroDial voor, een closed-loop framework bestaande uit drie gekoppelde componenten: een rol-geconditioneerde runtime, een uitvoerbare benchmark en een diagnostische alignment-pipeline.

2.1 Rol-geconditioneerde Gescheduled Dialoog Runtime

In tegen plaats van standaard turn-by-turn generatie, modelleert AnthroDial privéchat als stateful scheduling.

Statusrepresentatie: Het systeem beheert persona-kaarten, scenario-kaarten, partner-specifiek lange-termijngeheugen, gecomprimeerde gesprekshistorie en een virtuele klok.
Single-Draft Beslissing: Bij elke stap genereert het model een JSON-beslissingsterm $y_t = (u_t, \Delta t_t, e_t)$ , waarbij $u_t$ de inhoud van het bericht is, $\Delta t_t$ de geplande verzendvertraging, en $e_t$ een beslissing over stilte of afsluiting.
Scheduling Logica: Een scheduler beheert een "Draft Buffer". Het geeft de vroegste pendelende draft vrij, wat multi-bericht bursts, onderbrekingen en natuurlijke pauzes mogelijk maakt. Dit legt gedragingen bloot zoals wachten na een vraag of het laten vallen van een verouderde draft, die verborgen blijven in standaardgeneratie.
Geheugenbeheer: Lange-termijngeheugen wordt bijgewerkt via een aparte module ( $U_\phi$ ) om duurzame feiten te behouden terwijl vluchtige gebeurtenissen worden weggegooid. Kortetermijngeheugen gebruikt een sliding window met een beknopte samenvatting voor oudere beurten.

2.2 Uitvoerbare Benchmark

Het framework introduceert een hiërarchische, uitvoerbare benchmark om gedrag te evalueren in plaats van enkel geaggregeerde kwaliteit.

L0 Geldigheidsgate: Een deterministische filter die samples afwijst met fatale fouten (bijv. AI-identiteitslekken, onmogelijk mediumgedrag, harde herhaling, rolcontradictie).
Gedragsdimensies: Geldige samples worden gescoord op tien dimensies:
- Lokaal (Turn-niveau, D1–D5): WeChat-natuurlijkheid, beknoptheid, persona-consistentie, kennisgrenzen, en ritme/segmentatie.
- Globaal (Dialoog-niveau, E1–E5): Contextconsistentie, scenario/relatie-fit, empathische/sociale fit, proactiviteit, en bruikbaarheid van de dialoogboog.
Scoring: Het systeem rapporteert een gewogen score en een Strict ACC (acceptatiepercentage), waarbij een geval pas wordt goedgekeurd als alle vinkjes in alle beurten en de holistische kaart zijn voldaan.

2.3 Closed-Loop Training Pipeline

Het framework genereert zijn eigen trainingsdata en gebruikt diagnostische signalen voor reinforcement learning.

Data Synthese: De runtime genereert dialogen die gefilterd worden. Geaccepteerde dialogen vormen de SFT-pool; afgewezen dialogen worden omgezet in foutrecords met reparatievoorstellen.
SFT: Supervised Fine-Tuning wordt uitgevoerd op 16.436 gescheduled-decision voorbeelden, waarbij het model getraind wordt op zowel linguïstische stijl als privébericht-timing (vertragingen, afsluitingen).
CDT-ZPD Geleide GRPO: De Reinforcement Learning fase gebruikt Group Relative Policy Optimization (GRPO) met een nieuw beloningsmechanisme ontworpen om ongelijke capaciteitsgroei aan te pakken:
- Kalman Filtering: Houdt een latente capaciteitsschatting ( $\theta_{k,t}$ ) bij voor elke van de 10 gedragsdimensies.
- Capaciteits-tekort Weging: Verhoogt de beloningsgewicht voor dimensies waar de geschatte capaciteit van het model laag is ( $d_{k,t} = \epsilon + (1 - \theta_{k,t})^p$ ).
- ZPD (Zone of Proximal Development) Matching: Gebruikt de dimensiescore van de huidige rollout als een schatting van de taak bereikbaarheid. De beloning wordt gemoduleerd om optimalisatie te richten op taken die "leerbaar" zijn (dicht bij de huidige capaciteitsschatting) in plaats van te makkelijk of onmogelijk moeilijk.
- Adaptieve Beloning: De uiteindelijke beloning combineert een legacy rubric score met dit adaptieve, diagnostische signaal, waardoor de optimalisatiedruk verschuift naar zwakke maar leerbare menselijke vaardigheden.

3. Belangrijkste Bijdragen

Formalisering van Antropomorf Dialoog: Gedefinieerd als conditionele meerzaalsgeneratie onder persona, scenario, geheugen, medium en tijd beperkingen, geïnstantieerd via een gescheduled privéchat architectuur.
Uitvoerbare Benchmark: Ontworpen met een L0 geldigheidsgate en aparte lokale/globale gedragsdimensies, wat het rapporteren van ongeldige samples, gegradeerde kwaliteit en specifieke faaldimensies mogelijk maakt.
Closed-Loop Training Pipeline: Een systeem dat zijn eigen trainingsdata genereert en een CDT-ZPD geleide GRPO doelstelling gebruikt. Het maakt gebruik van Kalman-gefilterde capaciteitsschattingen en ZPD-matching om evaluatiesporen om te zetten in adaptieve beloningen.
Empirische Benchmarking: Een uitgebreid snapshot van 16 systemen (inclusclusief frontier baselines, open modellen en ablaties) geëvalueerd op 55 persona's, 50 scenario's en 100 rol-geconditioneerde gevallen per model.

4. Resultaten

Het artikel evalueert modellen over verschillende schalen (9B, 27B, 35B, 397B) en inferentie-modi (Thinking vs. No-Think).

Baseline Prestaties: De sterkste niet-getrainde baseline (Gemini-3.5-Flash) bereikt een 32.00% strict ACC.
SFT + RL Prestaties (27B): Het volledige Qwen3.6-27B-SFT+RL systeem (geëvalueerd in thinking mode) bereikt een 39.00% strict ACC en een algemene score van 98.5. Dit vertegenwoordigt een absolute verbetering van +7.00 punten ten opzichte van de sterkste niet-getrainde baseline en een +20.00 punten verbetering ten opzichte van de 27B SFT-only variant.
Efficiëntie Track (9B No-Think): In de lage-latentie setting zonder test-time thinking:
- Ongetunede 9B model: 0.00% strict ACC.
- 9B-SFT: 13.00% strict ACC.
- 9B-SFT+RL: 18.37% strict ACC.
- Significantie: Het 9B SFT+RL model presteert beter dan de ongetrainde 27B thinking model in strict ACC, wat aantoont dat post-training antropomorf gedrag kan overdragen naar kleinere, snellere modellen.
Dimensionale Analyse: Post-training verbetert globale dimensies (contextconsistentie, scenario fit) aanzienlijk, die vaak zwak zijn in standaardmodellen. Het 9B model blinkt uit in lokale dimensies (natuurlijkheid, ritme) maar loopt achter in globale coherentie, wat de divergentie tussen lokale vloeiendheid en globale antropomorfe kwaliteit benadrukt.

5. Betekenis en Claims

Het artikel claimt dat antropomorf dialoog een systeemeigenschap is die een closed loop vereist van generatie, evaluatie en beloningsvorming die dezelfde gedragsdimensies deelt.

Voorbij Vloeiendheid: Hoge per-turn natuurlijkheid garandeert geen overtuigend gesprek; globale coherentie en het naleven van beperkingen zijn afzonderlijke uitdagingen.
Training vs. Inferentie: Post-training (SFT en RL) draagt geleerd antropomorf gedrag bij dat niet louter het resultaat is van test-time "thinking" of deliberatie. De pipeline slaagt erin deze gedragingen te distilleren naar kleinere, laag-overhead modellen.
Diagnostische Alignment: Het CDT-ZPD beloningsmechanisme richt zich effectief op zwakke vaardigheden door beloningsgewichten dynamisch aan te passen op basis van de huidige capaciteitsschattingen van het model, in plaats van te optimaliseren voor een enkele geaggregeerde score.
Medium Specificiteit: De huidige instantie richt zich op Chinese privéberichten (WeChat-stijl), waar medium-specifieke normen (timing, ritme, beknoptheid) falen observeerbaar maken. Het framework is ontworpen om extensibel te zijn naar andere media door de oppervlaktenormen aan te passen terwijl de gedragsmatige evaluatiestructuur behouden blijft.

De auteurs hanteren een bescheiden standpunt door te merken dat de resultaten de pipeline en benchmark snapshot evalueren in plaats van een ingezet product, en dat automatische beoordelaars vooroordelen kunnen hebben. De primaire bijdrage is een gestructureerde methodologie voor het meten en alignen van menselijk conversatiegedrag zonder te claimen dat het systeem werkelijk bewustzijn of emotie bezit.