Graph-Based Alternatives to LLMs for Human Simulation

Titel: Graph-Based Alternatives to LLMs for Human Simulation

Auteurs: Joseph Suh, Suhong Moon, Serina Chang (UC Berkeley)

---

1. Probleemstelling

Grote Taalmodellen (LLMs) zijn momenteel de dominante aanpak voor het simuleren van menselijk gedrag, variërend van het voorspellen van enquêteantwoorden tot het simuleren van testresultaten. Hoewel LLMs sterke prestaties leveren, vooral na fijnafstemming (fine-tuning), brengen ze aanzienlijke nadelen met zich mee:

• Kosten: Ze zijn duur om te trainen en te draaien.
• Transparantie: De vooraf getrainde processen zijn een "black box", wat zorgen oproept over datalekken (contaminatie) en sociale vooroordelen.
• Noodzaak: Het is onduidelijk of de complexiteit van LLMs echt nodig is voor gesloten simulatietaken (close-ended tasks), waarbij een individu een keuze moet maken uit een beperkt aantal opties (in plaats van open tekstgeneratie).

De kernvraag van dit onderzoek is: Kan een kleinere, transparanere modelklasse concurreren met LLMs voor gesloten simulatietaken zonder in te boeten aan voorspellende prestaties?

2. Methodologie: GEMS

De auteurs introduceren GEMS (Graph-basEd Models for Human Simulation), een aanpak die gesloten simulatieproblemen formuleert als link prediction (koppelpredictie) op een heterogeen graf.

Grafrepresentatie

Het probleem wordt gemodelleerd als een graf $G$ met drie typen knopen:

1. Individuen ($U$): Vertegenwoordigen de deelnemers.
2. Subgroepen ($S$): Groepen individuen die gedeelde kenmerken hebben (bijv. demografische categorieën zoals leeftijd, geslacht, politieke voorkeur).
3. Keuzes ($C$): De mogelijke antwoorden op vragen. Deze zijn gestructureerd als een disjuncte unie per vraag.

De graf bevat twee soorten gerelateerde randen (edges):

• Lidmaatschap (Membership): Verbindt individuen met hun subgroepen.
• Respons (Response): Verbindt individuen met de keuzes die ze hebben gemaakt.

Architectuur

GEMS bestaat uit twee hoofdcomponenten:

1. Graph Encoder: Een Graph Neural Network (GNN) (zoals RGCN, GAT of GraphSAGE) dat relationele boodschappen doorgeeft om embeddings te leren voor individuen, subgroepen en keuzes. Het model leert latentere patronen uit de structuur van waargenomen antwoorden, zonder noodzakelijkerwijs tekstuele informatie te gebruiken voor de keuzes zelf.
2. Decoder: Voert linkpredictie uit door de dot-product te berekenen tussen de embedding van een individu en die van een mogelijke keuze, gevolgd door een softmax-classificatie om de waarschijnlijkheid van een antwoord te bepalen.

Omgaan met nieuwe vragen (Setting 3)

Voor het voorspellen van antwoorden op nieuwe vragen (waarbij de tekst van de opties nog niet in de graf staat), gebruiken de auteurs een LLM-to-GNN projectie.

• Ze gebruiken de frozen hidden states van een LLM voor de tekst van de nieuwe keuzes.
• Een lichte, leerbare projectielaag ($W_{proj}$) mapt deze LLM-embeddings naar de GNN-embeddingspace.
• Dit stelt het model in staat om nieuwe vragen te generaliseren zonder de volledige LLM te hoeven fine-tunen.

3. Experimentele Opzet

De auteurs evalueren GEMS op drie datasets en drie verschillende simulatiescenario's:

• Datasets:
  • OPINIONQA: Publieke opiniepeilingen (76k individuen, 500 vragen).
  • TWIN-2K: Psychologische en economische voorkeuren (2k individuen, 150 vragen).
  • DUNNING-KRUGER: Grammatica- en redeneertests (3k individuen, 20 vragen).
• Scenario's:
  1. Ontbrekende respons (Imputatie): Voorspellen van een antwoord van een bekend individu op een bekende vraag.
  2. Nieuwe individuen: Voorspellen van antwoorden van een volledig nieuw individu (alleen kenmerken bekend, geen eerdere antwoorden).
  3. Nieuwe vragen: Voorspellen van antwoorden op een volledig nieuwe vraag (alleen tekst bekend).

Benchmarks: GEMS wordt vergeleken met sterke LLM-baselines, waaronder zero-shot/few-shot prompting, Chain-of-Thought (CoT), en Supervised Fine-Tuning (SFT) van modellen zoals LLaMA-2, Mistral en Qwen.

4. Belangrijkste Resultaten

De resultaten tonen aan dat GEMS prestaties bereikt die gelijk zijn aan of beter zijn dan de sterkste LLM-methoden, maar met aanzienlijk minder resources:

• Prestaties:
  • In Setting 1 en 2 (ontbrekende respons en nieuwe individuen) overtreft GEMS vaak LLM-methoden, zelfs zonder gebruik te maken van tekstuele kenmerken van de keuzes. Het leert puur uit de relationele structuur (bijv. welke antwoorden vaak samen worden gekozen).
  • In Setting 3 (nieuwe vragen) bereikt GEMS met de LLM-to-GNN projectie vergelijkbare nauwkeurigheid als de beste LLM-fijnafstemming.
• Efficiëntie:
  • GEMS gebruikt ongeveer 1000x minder parameters dan de geteste LLMs.
  • Het vereist tot 100x minder compute (GPU-uur). Bijvoorbeeld: GEMS trainde in minder dan een uur, terwijl few-shot fine-tuning van een 70B-parameter model op dezelfde dataset ongeveer 500 GPU-uur zou kosten.
• Ensembling: Door de lage rekentijd kan GEMS makkelijk worden geënssembleerd (bijv. 11 modellen met verschillende initialisaties), wat leidt tot verdere nauwkeurigheidsverbeteringen die met LLMs onbetaalbaar zouden zijn.

5. Bijdragen en Betekenis

De belangrijkste bijdragen van dit werk zijn:

1. Alternatief voor LLM-dominantie: Het bewijst dat complexe LLMs niet altijd nodig zijn voor gesloten menselijke simulaties. Een grafgebaseerde aanpak is een krachtig, efficiënt alternatief.
2. Transparantie en Betrouwbaarheid: Omdat GEMS vanaf nul wordt getraind op specifieke, transparante data, vermindert het risico op datalekken en het kopiëren van vooroordelen uit grote pre-training datasets. Het model is minder gevoelig voor prompt-formatting dan LLMs.
3. Inzicht in Menselijk Gedrag: De embeddings van GEMS onthullen interessante patronen. Bijvoorbeeld, de eerste twee hoofdcomponenten van de embeddings corresponderen met politieke ideologie en klasse, maar tonen ook aanzienlijke heterogeniteit binnen subgroepen, wat suggereert dat GEMS individuele variatie beter vastlegt dan LLMs die vaak neigen naar stereotypen.
4. Schaalbaarheid: De methode maakt het mogelijk om simulaties uit te voeren op veel grotere datasets dan momenteel haalbaar is met LLMs, wat de deur opent voor bredere toepassing in de sociale wetenschappen.

Conclusie

GEMS biedt een overtuigend, lichtgewicht en transparant alternatief voor LLMs in het domein van menselijke simulatie. Door de relatie tussen individuen, subgroepen en keuzes te benutten via graf-neurale netwerken, bereikt het vergelijkbare of superieure voorspellende nauwkeurigheid met een fractie van de rekenkracht. Dit werk daagt de aanname uit dat LLMs de enige weg zijn voor geavanceerde menselijke simulatie en stimuleert een meer toegankelijke en betrouwbare benadering voor onderzoekers.