HAL: Inducing Human-likeness in LLMs with Alignment

Technische Samenvatting: HAL: Het induceren van menselijkheid in LLM's door middel van Alignment

Probleemstelling
Het afstemmen (alignen) van Large Language Models (LLM's) op kwalitatieve gedragskenmerken, specif Meek specifiek "menselijkheid" in conversatie, blijft een aanzienlijke uitdaging. In tegenstelling tot taakgerichte metrieken is menselijkheid moeilijk te definiëren, te meten en systematisch te optimaliseren. Huidige verbeteringen in de waargenomen menselijkheid worden grotendeels gedreven door de schaal van het model of brede gesuperviseerde training, in plaats door gerichte alignment. Bovendien zijn menselijke oordelen over menselijkheid doorgaans holistisch en impliciet, en ontbreken de expliciete criteria die nodig zijn om een beloningssignaal voor reinforcement learning of preference optimization te construeren. Bijgevolg is er geen systematische methode om modellen af te stemmen op meer menselijke conversatiegedragingen.

Methodologie
Het artikel introduceert HAL (Human Aligning LLMs), een datagestuurd framework dat conversatie-menselijkheid kwantificeert in een interpreteerbaar, scalair beloningssignaal. De methodologie verloopt in vier fasen:

1. Extractie van kenmerken uit contrastieve data:
   De auteurs maken gebruik van Turing-test dialoogtranscripten (specifiek van Jones en Bergen, 2025) als contrastieve data die paren mens-mens en mens-AI conversaties bevatten. Een LLM-gebaseerde rechter (aanvankelijk GPT-5 met hoge redeneercapaciteiten) analyseert deze paren om gestructureerde, Likert-stijl redenen te genereren voor het onderscheiden van de mens van de AI. Deze natuurlijke taalredenen worden ingebed en geclusterd om terugkerende aanwijzingen te identificeren. Door middel van een samenvattingsproces worden deze gedestilleerd tot een compacte set van 32 kenmerken (HL32Q) die menselijke van AI-dialogen in deze context betrouwbaar onderscheiden.

2. Kwantificatie via Logistische Regressie:
   Om deze kwalitatieve kenmerken om te zetten in een kwantitatief signaal, trainen de auteurs een logistisch regressiemodel. Een LLM-rechter (HL32Q Judge) scoort onafhankelijk elke gegeven dialoog tegen de 32 kenmerken op een 1–5 Likert-schaal, wat resulteert in een feature vector $A \in \mathbb{R}^{32}$. Het logistische regressiemodel leert gewichten ($W$) en een bias ($b$) om te voorspellen of een dialoog menselijk is ($y=1$) of AI ($y=0$).
   Om de interpreteerbaarheid te vergroten, voeren de auteurs feature reductie uit, waarbij de top 16 kenmerken (HL16Q) worden geselecteerd op basis van de absolute grootte van hun geleerde gewichten. Dit resulteert in een enkele scalaire Human-Likeness Score:
   $$\text{HumanLikeness}(A) = \sum_{i=1}^{16} A_i W_i + b$$
   Deze score dient als het beloningssignaal voor alignment.

3. Preference Optimization (DPO):
   Het framework vormt alignment als een preference learning probleem. Voor een set gesynthetiseerde persona's (voornamelijk binnen een medisch communicatiedomein) worden kandidaat-dialogen gegenereerd door diverse modellen. Deze dialogen worden gescoord met de HL16Q Judge. Paren van dialogen worden geconstrueerd waarbij de dialoog met de hogere HL16Q-score wordt gelabeld als "chosen" (gekozen) en de lagere als "rejected" (afgewezen). Deze gerangschikte paren worden gebruikt om modellen van variërende groottes (van 1B tot 72B parameters) te finetunen met behulp van Direct Preference Optimization (DPO).

4. Evaluatie:
   De auteurs valideren de aanpak via:

   • Out-of-Distribution (OOD) Testing: Het evalueren van de HL16Q-score op een aparte dataset over kankercommunicatie om de generaliseerbaarheid te waarborgen.
   • Menselijke Evaluatie: Een Chatbot Arena-stijl A/B-test waarbij menselijke participanten beoordelen welke van twee modellen menselijker aanvoelt.
   • Capability Benchmarks: Het beoordelen van de prestaties op emotionele intelligentie benchmarks (EmoBench, EQBench3) om te garanderen dat alignment andere capaciteiten niet degradeert.

Belangrijkste Resultaten

• Identificatie van kenmerken: De pipeline identificeerde succesvol 32 onderscheidende kenmerken, gereduceerd tot 16 (HL16Q), die menselijke van AI-dialogen effectief onderscheiden. De logistische regressie classifier bereikte een nauwkeurigheid van 77,47% op de Turing-test dataset met de volledige 32 kenmerken en 77,12% met de gereduceerde 16 kenmerken.
• Generaliseerbaarheid: Op een OOD-dataset (kankercommunicatie) ontvingen mens-mens conversaties significant hogere HL16Q-scores dan mens-AI conversaties (gemiddeld verschil $\Delta = 3,02$, $p < 10^{-17}$), met een AUC van 0,907, wat aangeeft dat de kenmerken overdraagbare aanwijzingen van menselijkheid vastleggen.
• Alignment Prestaties: In menselijke evaluaties behaalde het Qwen2.5-14B model gealigneerd met HAL een win rate van 61,78% en een Elo-score van 1556,97, waarmee het zowel zijn base-tegenhanger (53,62%) als de propriëtaire GPT-4o-mini (34,29%) versloeg.
• Behoud van Capaciteiten: Alignment met HAL leidde niet tot een systematische degradatie in emotionele intelligentie benchmarks. In verschillende gevallen, met name voor kleinere en middelgrote modellen, verbeterde de prestatie op EQBench3 na de alignment.
• Interpreteerbaarheid: Het framework maakt inspectie van specifieke veranderingen in kenmerken tijdens de training mogelijk. Zo observeerden de auteurs dat het kenmerk "Houdt antwoorden kort en informeel" (Q1) de meest significante distributionele verschuiving vertoonde, wat valideert dat het model specifieke, interpreteerbare gedragingen leert in plaats van een opaak doel te optimaliseren.

Betekenis en Claims
Het artikel claimt dat HAL een levensvatbaar pad demonstreert voor het afstemmen van LLM's op "zachte", kwalitatieve eigenschappen die voorheen buiten het bereik van standaard alignment-doelstellingen vielen. Door expliciete, interpreteerbare kenmerken af te leiden uit contrastieve data en deze te comprimeren tot een transparant beloningssignaal, maakt HAL het volgende mogelijk:

1. Meetbare Alignment: Het omzetten van het subjectieve concept van "menselijkheid" in een kwantificeerbaar, scalair beloning.
2. Transparantie en Diagnose: In tegen afstelling van black-box reward modellen, stelt de HL16Q score onderzoekers in staat om te inspecteren welke specifieke conversatiekenmerken worden aangemoedigd en om onbedoelde effecten of reward hacking te diagnosticeren.
3. Generaliseerbaarheid van Methode: De aanpak biedt een algemene methodologie voor het induceren van andere moeilijk te specificeren eigenschappen (bijv. sycophancy, manipulatie) door ze af te leiden uit contrastieve voorbeelden, mits deze meetbaar kunnen worden gemaakt.

De auteurs merken op dat hoewel de methode de waargenomen menselijkheid verbetert, de geëxtraheerde kenmerken specifiek zijn voor de conversatienormen van de trainingsdata (Turing-testen) en domeinadaptatie kunnen vereisen voor andere contexten (bijv. medische dialoog). Ze erkennen ook de computationele kosten van het gebruik van een LLM-judge voor de constructie van de beloning, maar positioneren HAL als een verfijningsstap of een methode voor rijkere beloningsconstructie waar interpreteerbaarheid essentieel is.