Technische Samenvatting: Een door Hormonen Geïnspireerde Emotielayer voor Transformer Taalmodellen (HELT)

Probleemstelling

Hoewel Large Language Models (LLM's) ongekend succes hebben behaald op het gebied van grammaticale correctheid en contextuele relevantie, missen ze fundamenteel het vermogen om emotionele context te verwerken en hierop te reageren op een manier die analoog is aan menselijke emotionele cognitie. Huidige benaderingen voor Natural Language Processing (NLP) voor emotiemodellering worden beperkt door diverse beperkingen:

• Discrete Classificatie: Het behandelen van emotie als statische, onderling uitsluitende categorieën (bijvoorbeeld blij, verdrietig) faalt in het vastleggen van het continue, gemengde en vloeiende karakter van menselijke affectie.
• Dimensionale Reductie: Modellen die vertrouwen op binaire sentimenten of tweedimensionale arousal-valentie-ruimtes, zijn ontoereikend om het complexe, multidimensionale spectrum van menselijke emotionele toestanden weer te geven.
• Statische Tokenisatie: Methoden die expliciete emotielabels voorvoegen (bijvoorbeeld "[verdrietig]") missen temporele dynamiek en geleerde, contextuele representaties, en falen in het modelleren van hoe emotionele toestanden in de tijd evolueren of met elkaar interageren.

Gevolg hiervan is dat standaard transformer-gebaseerde antwoorden vaak emotioneel vlak blijven, en niet in staat zijn om enthousiasme te reflecteren, discussies te ontmantelen of authentiek empathie te tonen.

Methodologie: HormoneT5 Architectuur

Het artikel introduceert HormoneT5, een nieuwe architectuur die de voorgetrainde Text-to-Text Transfer Transformer (T5) uitbreidt met een biologisch geïnspireerde Hormoon Emotie Blok. Dit blok simuleert de rol van het menselijke endocriene systeem bij emotionele verwerking door zes continue, hormoonachtige waarden te berekenen die zijn afgeleid van de verborgen toestanden van de encoder.

Kerncomponenten

1. Hormoon Emotie Blok: Geïntegreerd tussen de T5-encoder en decoder fungeert dit blok als een computationeel endocrien systeem. Het leest linguïstische kenmerken, voorspelt activatieniveaus voor zes specifieke hormonen, en moduleert de verborgen representaties voordat er gedecodeerd wordt.
2. Per-Hormoon Attention Heads: Het model maakt gebruik van zes parallelle, gespecialiseerde attention heads (één voor elk hormoon: Dopamine, Serotonine, Cortisol, Oxytocine, Adrenaline en Endorfines).
   • Orthogonale Initialisatie: Leerbare query-vector voor elke head worden orthogonaal geïnitieerd om te waarborgen dat ze verschillende deelruimtes beslaan, waardoor attention collapse wordt voorkomen.
   • Transfer Learning: Key- en Value-projecties worden geïnitieerd vanuit de voorgetrainde self-attention-weights van T5 om bestaande linguïstische kennis te benutten en trainingsstabiliteit te waarborgen.
   • Temperatuur Scaling: Een temperatuurfactor ($\tau = 0.5$) wordt toegepast om scherpere attention-distributies te creëren, waardoor hormonen zich kunnen richten op specifieke tokens.
3. Modulatie Mechanisme: De zes scalare hormoonwaarden worden geprojecteerd naar een unificatie emotionele embedding ($e$) en toegepast op de encoder verborgen toestanden ($H$) via een multiplicatieve gating-mechanisme:
   $$\tilde{H} = H \odot (1 + \alpha \cdot e_{expanded})$$
   Hierbij is $\alpha$ een leerbare scalar die wordt ingeklemd tussen 0,1 en 0,5, waardoor stabiele, begrenste modulatie wordt gewaarborgd zonder de oorspronkelijke linguïstische representaties te domineren.

Trainingsframework

Het model maakt gebruik van een multi-objectief trainingsframework met een samengestelde verliesfunctie:

• Sequence Loss ($L_{seq}$): Standaard cross-entropy voor tekstgeneratie.
• Hormoon Loss ($L_{hormone}$): Een combinatie van Mean Squared Error (MSE) en een Margin Loss. De margin loss straft voorspellingen die geen extreme waarden bereiken (bijvoorbeeld <0,3 voor lage toestanden, >0,7 voor hoge toestanden), waardoor duidelijke differentiatie tussen emotionele tonen wordt aangemoedigd.
• Diversiteits Loss ($L_{diversity}$): Straft de cosinus-similariteit tussen query-vector van verschillende hormoon heads om functionele distinctiviteit te waarborgen.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van een Hormoon Emotie Blok dat continue hormoonsignalen berekent via gespecialiseerde attention-mechanismen, verdergaand dan discrete classificatie.
2. Transfer Learning Strategie: Demonstratie dat het initialiseren van hormoon attention Key/Value-projecties vanuit voorgetrainde T5-weights de voorspellingnauwkeurigheid en stabiliteit aanzienlijk verbetert.
3. Multi-Objectief Optimalisatie: Een gecombineerde verliesfunctie die balans creëert tussen generatiekwaliteit, precieze hormoonvoorspelling met margin-straftes, en attention-diversiteit.
4. Uitgebreide Evaluatie: Uitgebreide automatische en menselijke evaluatie die significante verbeteringen toont in emotionele geschiktheid en empathische kwaliteit.
5. Open-Source Release: Volledige release van code, trainingsscripts, dataset en voorgetrainde weights om reproduceerbaarheid te waarborgen.

Experimentele Resultaten

Het model is getraind op een gecureerde dataset van 1.200 voorbeelden (uitgebreid vanuit 150 unieke dialogen) over vijf emotionele tonen (Vriendelijk, Neutraal, Ruw, Verdrietig, Opgewonden).

• Hormoonvoorspelling Nauwkeurigheid: HormoneT5 behaalde 85,5% gemiddelde nauwkeurigheid (voorspellingen binnen $\pm 0,15$ van het doel) over alle zes hormonen. De voorspelling voor Cortisol was het hoogst met 91,3%, terwijl Oxytocine het laagst was met 78,4%.
• Differentiatie: Het model behaalde een gemiddelde differentiatierange van 0,85, wat bevestigt dat het geen vlakke gemiddelden output maar dynamisch interne toestanden moduleert. Bijvoorbeeld, "Vriendelijke" inputs triggerden hoge Dopamine (0,92) en lage Cortisol (0,08), terwijl "Ruwe" inputs dit profiel omkeerden.
• Menselijke Evaluatie: In een blind paarsgewijze studie met 15 beoordelaars werd HormoneT5 in 77% van de gevallen verkozen boven de baseline T5.
  • Emotionele Geschiktheid: 4,12/5 (vs. 2,73 voor baseline, $p < 0,001$).
  • Kwaliteit van Empathie: 3,98/5 (vs. 2,45 voor baseline, $p < 0,001$).
  • Vlotheid: Bleef statistisch identiek aan de baseline (4,18 vs. 4,21), wat aangeeft dat emotionele modulatie de linguïstische kwaliteit niet verslechterde.

Betekenis en Claims

Het artikel claimt dat HormoneT5 een significante stap voorwaarts betekent richting biologisch onderbouwde affectieve computing. Door emotie te modelleren als een continue, multidimensionale interactie van neurochemische stoffen in plaats van discrete categorieën, slaagt de architectuur erin de kloof te overbruggen tussen semantisch begrip en emotionele resonantie.

De auteurs stellen dat de attention heads van het model zich op natuurlijke wijze hebben uitgelijnd met biologische functies zonder expliciete programmering (bijvoorbeeld Cortisol heads die zich richten op dreigingsmarkers, Oxytocine op sociale voornaamwoorden). Dit suggereert dat continue hormoon-vector een effectieve inductieve bias bieden voor het vastleggen van de intensiteit en nuance van emotionele toestanden.

Het werk opent nieuwe richtingen voor het creëren van emotioneel intelligente conversatieagenten die in staat zijn contextueel geschikte antwoorden te genereren. De auteurs handhaven echter een bescheiden houding ten aanzien van huidige beperkingen, en erkennen dat het model afhankelijk is van een kleine, Engelstalige dataset met synthetische hormoon-mappings, temporele dynamiek voor lange gesprekken mist, en nog geen multimodale cues integreert. Zij benadrukken dat de "hormonen" computationele abstracties zijn, geen zintuiglijke toestanden, en roepen op tot strenge ethische waarborgen tegen manipulatie en versterking van toxiciteit in toekomstige implementaties.