🤖 AI

Enhancing Human-Like Responses in Large Language Models

Dit artikel onderzoekt technieken voor het verbeteren van de menselijke kwaliteiten van grote taalmodellen door middel van verbeterd natuurlijk taalbegrip, conversationele coherentie en emotionele intelligentie, waarbij het hun potentieel aantoont om gebruikersinteracties en AI-toepassingen te transformeren, terwijl het tegelijkertijd de noodzaak benadrukt om de daaruit voortvloeiende ethische zorgen aan te pakken.

Oorspronkelijke auteurs: Ethem Yağız Çalık, Talha Rüzgar Akkuş

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ethem Yağız Çalık, Talha Rüzgar Akkuş

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, encyclopedische bibliotheekassistent hebt. Deze assistent weet het antwoord op bijna elke vraag ter wereld, van de hoofdstad van Frankrijk tot de chemische samenstelling van een ster. Echter, er is een addertje onder het gras: deze assistent spreekt als een robot die een tekstboek voorleest. De assistent zegt dingen als: "Als een kunstmatige intelligentie heb ik geen persoonlijke ervaringen," of "Ik ben niet in staat die informatie te verstrekken." Hoewel accuraat, voelt dit koud, stijf en een beetje saai aan om mee te praten.

Dit artikel gaat over het leren van die stijve bibliotheekassistent hoe hij kan chatten als een warme, vriendelijke mens, zonder te vergeten wat hij al weet.

Hier is het verhaal van hoe ze het deden, onderverdeeld in eenvoudige stappen:

1. Het Probleen: De "Robot"-stem

De onderzoekers begonnen met krachtige AI-modellen (zoals Llama, Qwen en Mistral). Deze modellen zijn slim, maar ze zijn getraind om formeel en precies te zijn. Wanneer je hen vraagt: "Wat is het beste advies dat je ooit hebt gekregen?", kunnen ze antwoorden: "Ik ben een AI en ontvang geen advies." Dit verbreekt de flow van het gesprek. Het doel was om hen meer te laten klinken als een echt persoon die een praatje maakt bij een kop koffie, terwijl ze nog steeds hun vermogen behouden om moeilijke wiskundeproblemen op te lossen of complexe vragen te beantwoorden.

2. De Oplossing: Een "Menselijk" Tekstboek Creëren

Om de AI te leren hoe hij menselijk kan zijn, hadden de onderzoekers een speciaal tekstboek nodig. Maar omdat ze niet miljoenen echte menselijke chats hadden om te gebruiken, bouwden ze een synthetische dataset (een nep maar realistische verzameling gegevens) met behulp van een nog slimmere AI (Llama 3 405B) als leraar.

De Taak van de Leraar: De grote AI kreeg de opdracht om vragen te genereren (zoals "Wat is je favoriete hobby?") en vervolgens twee verschillende antwoorden voor elke vraag te schrijven.
- Antwoord A (De "Gekozen" Mens): Dit antwoord klonk natuurlijk, warm en gesprekig. Het zou kunnen zeggen: "Oh, ik hou van wandelen! Mijn oma heeft me geleerd om van de natuur te houden..."
- Antwoord B (De "Afgewezen" Robot): Dit antwoord klonk stijf en formeel. Het zou zeggen: "Ik ben een AI-taalmodel. Ik heb geen hobby's, maar ik kan wel de voordelen van wandelen bespreken..."
Het Resultaat: Ze creëerden een enorme bibliotheek van 10.884 voorbeelden waarbij de AI leerde het verschil te zien tussen een "saai robot"-antwoord en een "vriendelijk menselijk" antwoord.

3. De Training: De AI Leren Kiezen

Zodra ze deze speciale tekstboek hadden, gebruikten ze een techniek genaamd Direct Preference Optimization (DPO). Denk hierbij aan het trainen van een hond.

Je laat de hond een traktatie zien (het "Menselijke" antwoord) en een steen (het "Robot"-antwoord).
Je zegt tegen de hond: "Goed zo, voor het kiezen van de traktatie!"
Na verloop van tijd leert de hond dat de traktatie is waar hij naar streeft.

In dit geval leerde de AI dat de "Menselijke" antwoorden de "traktaties" zijn waar hij naar moet streven. Ze gebruikten een methode genaamd LoRA (Low-Rank Adaptation), wat lijkt op het geven van een set plaknotities aan het brein van de AI. In plaats van het hele brein te herschrijven (wat traag en riskant zou zijn), voegden ze alleen deze notities toe om de persoonlijkheid aan te passen. Dit zorgde ervoor dat de AI zijn wiskundige vaardigheden of algemene kennis niet vergat terwijl hij leerde vriendelijker te zijn.

4. De Resultaten: Werkte het?

De onderzoekers testten hun nieuwe "Menselijke" modellen tegen de originele "Robot"-modellen.

De Menselijke Stem: Ze vroegen echte mensen (voornamelijk middelbare scholieren en volwassenen) om een spelletje te spelen. Ze lieten twee antwoorden naast elkaar zien zonder te zeggen welke AI ze had geschreven. De deelnemers moesten degene kiezen die menselijker klonk.
De Score: De nieuwe modellen wonnen 89% tot 90% van de tijd! Mensen gaven de voorkeur aan de vriendelijke, gesprekige antwoorden en haatten de antwoorden die begonnen met "Als een AI...".
De Breintest: Ze testten ook of de AI "dommer" werd door hem moeilijke logica- en wiskundetoetsen te geven. De resultaten lieten zien dat de AI bijna exact even slim was als voorheen. Hij leerde alleen netter te praten. De enige lichte daling was in een test die specifiek bedoeld was om te controleren of de AI strikte formateringsregels volgde (wat een kleine prijs is voor het zijn van natuurlijker).

5. Het Nadeel (Beperkingen)

De auteurs zijn eerlijk over de gebreken in hun experiment:

De "Nep" Data: Omdat ze AI hebben gebruikt om de trainingsdata te creëren, is het niet perfect echt. Het is alsof je een taal leert door een boek te lezen dat door een andere robot is geschreven; je mist misschien de rommelige, chaotische nuance van het echte menselijke leven.
De Stemmers: De mensen die over de antwoorden stemden, waren voornamelijk jonge studenten die Engels mogelijk niet als eerste taal spreken. Dit kan invloed hebben gehad op wat zij als "menselijk" beschouwden.

6. De Waarschuwing (Ethiek)

Het paper eindigt met een serieuze waarschuwing. Als een AI te menselijk klinkt, kunnen mensen vergeten dat het een machine is.

Transparantie: De auteurs betogen dat AI altijd duidelijk moet zeggen: "Ik ben een robot," zodat mensen niet worden misleid of ongezonde emotionele hechtingen vormen.
Bias: Als de AI mensen te goed imiteert, kan het onbedoeld menselijke vooroordelen of biases uit de data kopiëren.

Samenvatting

Kortom, dit paper laat zien dat je een zeer slimme maar stijve AI kunt nemen, hem kunt leren om te chatten als een vriendelijke mens met behulp van een speciale "smaaktest"-trainingsmethode, en hem veel prettiger kunt maken om mee te praten — zonder dat hij minder slim wordt in het oplossen van problemen. Ze hebben hun nieuwe "vriendelijke" modellen en de trainingsdata online gedeeld zodat anderen ze kunnen gebruiken.

Technische Samenvatting: Het verbeteren van menselijke reacties in Large Language Models

Probleemstelling
Ondanks aanzienlijke vooruitgang in natuurlijk taalbegrip, gedreven door training op enorme corpora, genereren basis Large Language Models (LLMs) zoals Llama, Qwen en Mistral Nemo vaak reacties die formeel, onpersoonlijk en ontdaan van de emotionele afstemming zijn die men in menselijke gesprekken verwacht. Hoewel deze modellen uitblinken in gestructureerde taken, schieten ze vaak tekort in het produceren van conversionele, herkenbare en emotioneel intelligente interacties. Dit artikel adresseert de kloof tussen de mechanische precisie van huidige LLM's en de natuurlijke vloeiendheid van menselijke communicatie, met als doel "menselijkheid" te verbeteren zonder de nauwkeurigheid in formele of gestructureerde domeinen op te offeren.

Methodologie
De auteurs stellen een pijplijn voor die gecentreerd is rond de creatie van gespecialiseerde synthetische datasets en de toepassing van Direct Preference Optimization (DPO) om bestaande instructie-afgestemde modellen te finetunen.

Generatie van Synthetische Datasets:
- Architectuur: Het team maakte gebruik van Llama 3 405B voor vraaggeneratie en Llama 3 70B voor antwoordgeneratie, volgens een Self-Instruct aanpak.
- Prompt Engineering: Er zijn aangepaste systeemprompts ontworpen om twee verschillende reactietypen te ontlokken voor dezelfde invoervragen:
  - Chosen (Gekozen): Menselijke, conversionele, natuurlijke en boeiende reacties.
  - Rejected (Afgewezen): Formele, onpersoonlijke, gestructureerde en precieze reacties (vaak met zelfverwijzende disclaimers zoals "Ik ben een AI").
- Datatoon omvang: Het proces genereerde 10.884 samples die 256 onderwerpen beslaan (bijv. Reizen, Sport, Familie, Technologie). De data werd gevisualiseerd met de Atlas Nomic Map om onderwerp-diversiteit en balans te waarborgen.
- Parameters: De generatie maakte gebruik van een temperatuur van 1 en een top-p van 1 om creativiteit en variabiliteit te maximaliseren.
Modeltraining:
- Technieken: De studie maakte gebruik van Low-Rank Adaptation (LoRA) om het vergeten van algemene kennis (catastrophic forgetting) te voorkomen, gecombineerd met DPO om een beloningsmechanisme te implementeren dat menselijk gedrag prioriteert.
- Gefinetunede Modellen: De methodologie werd toegepast op drie open-source instructiemodellen:
  - Llama-3-8B-Instruct
  - Qwen-2.5-7B-Instruct
  - Mistral-Nemo-Instruct-2407
- Hyperparameters: De training gebruikte een leersnelheid van $2 \times 10^{-4}$ , 1 epoch, en specifieke LoRA-instellingen ( $r=8, \alpha=4$ ) en DPO-instellingen ( $\beta=0.1$ ). De lage $r$ -waarde werd bewust gekozen om de gewichtsupdates te beperken en de vooraf getrainde algemene capaciteiten van het model te behouden.
- Infrastructuur: De training werd uitgevoerd op 2x NVIDIA A100 SXM (80 GB) GPU's.

Belangrijkste Bijdragen

Nieuwe Dataset: De creatie van een synthetische dataset die specifiek is gecureerd om te differentiëren tussen menselijke en formele reacties, dienend als fundament voor DPO-finetuning.
Gefinetunede Modellen: De release van drie nieuwe open-source modellen ("Human-Like-LLama-3-8B-Instruct," "Human-Like-Qwen-2.5-7B-Instruct," en "Human-Like-Mistral-Nemo-Instruct") beschikbaar op Hugging Face.
Evaluatiekader: Implementatie van een anoniem stemsysteem via Gradio om "menselijkheid" kwantitatief te beoordelen ten opzichte van officiële instructiemodellen.

Resultaten

Evaluatie van Menselijkheid: In een blinde stemstudie met 2.000 stemmen over 500 vragen, presteerden de gefinetunede modellen aanzienlijk beter dan hun officiële tegenhangers.
- Human-Like-Llama-3-8B-Instruct werd in 89,6% van de gevallen gekozen.
- Human-Like-Qwen-2.5-7B-Instruct werd in 89,5% van de gevallen gekozen.
- Human-Like-Mistral-Nemo-Instruct werd in 79,6% van de gevallen gekozen.
- De primaire drijfveer voor deze voorkeur was de eliminatie van mechanische zelf-disclaimers (bijv. "Als een AI...") en een verbeterde conversatieflow.
Benchmark Prestaties: Evaluatie op de Open LLM Leaderboard (IFEval, BBH, MATH, GPQA, MuSR, MMLU-Pro) toonde minimale prestatiedegradatie.
- De meeste modellen vertoonden een lichte daling in gemiddelde scores, voornamelijk gedreven door de IFEval-benchmark.
- Wanneer IFEval werd uitgesloten, vertoonden sommige modellen (Qwen en Mistral varianten) lichte verbeteringen of verwaarloosbare veranderingen, wat aangeeft dat de "menselijke" tuning de algemene redenering of taakspecifieke nauwkeurigheid niet significant heeft aangetast.

Betekenis en Claims
Het artikel beweert dat open-source modellen effectief kunnen worden gefinetuned om reacties te produceren die meer conversioneel zijn en dichter bij menselijke communicatie liggen, waarmee direct wordt ingegaan op het probleem van formele en onpersoonlijke outputs. De auteurs benadrukken dat deze verbetering in natuurlijkheid wordt bereikt zonder een merkbaar verlies aan nauwkeurigheid of efficiëntie over standaard benchmarks.

De studie benadrukt de succesvolle integratie van psychologische inzichten en synthetische datageneratie om de kloof tussen AI en menselijke interactie te overbruggen. Door de modellen en de dataset vrij te geven, beogen de auteurs middelen te bieden voor toekomstig onderzoek naar het maken van AI-systemen die aantrekkelijker en effectiever zijn in real-world toepassingen. Het werk erkent ook de ethische noodzaak van transparantie, waarbij wordt opgemerkt dat naarmate modellen menselijker worden, duidelijke openbaarmaking van hun machinale aard cruciaal is om verwarring bij de gebruiker te voorkomen en vertrouwen te behouden, in lijn met kaders zoals de EU AI Act.