🤖 AI

Situation Graph Prediction for User Perspective Modeling

Dit artikel introduceert Situation Graph Prediction (SGP), een nieuwe taak en strategie voor synthetische datageneratie voor het modelleren van gebruikersperspectieven vanuit multimodale artefacten, waarbij via een diagnostische studie wordt aangetoond dat het afleiden van latente interne staten aanzienlijk uitdagender is dan oppervlakkige extractie voor huidige fundamentele modellen.

Oorspronkelijke auteurs: Jisung Shin, Daniel Platnick, Marjan Alirezaie, Hossein Rahnama

Gepubliceerd 2026-08-12

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jisung Shin, Daniel Platnick, Marjan Alirezaie, Hossein Rahnama

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vriend probeert te begrijpen die een zware week doormaakt. Je ziet diegene korte, boze tekstjes typen, een trillende stem horen tijdens een telefoongesprek, en opmerken dat de gebruikelijke sportsessie is overgeslagen. Een simpel computerprogramma zou misschien alleen "minder berichten" en "lagere activiteit" zien en denken: "Oh, ze zijn gewoon druk." Maar een echt slimme vriend weet dat die oppervlakkige aanwijzingen eigenlijk een dieper verhaal verbergen: misschien voelt diegene zich overweldigd, angstig, of is hij of zij aan het spiralen richting een crisis. Dit is het verschil tussen het louter observeren van wat iemand doet en het begrijpen van wie iemand op dat moment is. Wetenschappers noemen dit "Perspective-Aware AI". Het is de droom om persoonlijke assistenten te bouwen die niet alleen bevelen opvolgen, maar ook je evoluerende doelen, gevoelens en de unieke manier waarop jij de wereld ziet, echt begrijpen. Het grote probleem? We kunnen computers niet gemakkelijk leren dit te doen omdat de echte, privédata van mensen verboden terrein is, en we hebben zelden een "referentiegids" die precies labelt wat iemand van binnen voelt enkel door naar hun digitale voetafdruk te kijken.

Dit papier introduceert een slimme nieuwe manier om computers deze vaardigheid aan te leren, genaamd Situation Graph Prediction (SGP). Denk aan het als een detectivespel waarbij de computer een rommelige stapel aanwijzingen (zoals e-mails, chatlogs of spraakberichten) moet bekijken en een verborgen, gestructureerde kaart moet reconstrueren van wat de persoon eigenlijk denkt en voelt. Omdat we niet de privégeheimen van echte mensen kunnen gebruiken om de AI te trainen, hebben de auteurs een "nepwereld" gebouwd. Ze begonnen eerst met het tekenen van de verborgen kaart (besluiten dat iemand "gestrest" is en "op het werk") en gebruikten vervolgens een superintelligente AI om de nep-aanwijzingen te schrijven (zoals een kortaf e-mailbericht) die natuurlijk zouden voortvloeien uit die kaart. Deze "structuur-eerst"-methode zorgt ervoor dat de aanwijzingen altijd perfect overeenkomen met de verborgen gevoelens, wat een veilige, privacyvriendelijke trainingsomgeving creëert.

Wanneer de onderzoekers dit testten op drie van de meest geavanceerde AI-breinen ter wereld (GPT-4o, Gemini 2.5 Flash en Claude Sonnet 4), ontdekten ze iets fascinerends. Zelfs met deze superintelligente modellen is het veel moeilijker voor de AI om de verborgen gevoelens te raden (zoals "angst" of "vastberadenheid") dan om simpelweg de zichtbare feiten op te sommen (zo zoals "kantoor" of "e-mail"). De studie suggereert dat hoewel AI steeds beter wordt in het lezen van de oppervlakte van ons leven, het nog steeds een enorme uitdaging is om het diepe, interne verhaal achter onze acties te ontrafelen. De onderzoekers creëerden een kleine dataset van 75 nepscenario's om dit punt te bewijzen, waarmee ze lieten zien dat de kloof tussen "wat we zien" en "wat we voelen" echt en consistent is, ongeacht welk AI-model je gebruikt.

De Puzzel van de Detective: Van Aanwijzingen naar Innerlijke Werelden

Laten we dieper ingaan op hoe dit werkt. Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je kunt niet met de verdachte praten. Je hebt alleen een stapel bewijs: een tekstbericht dat zegt "Ik ben oké", een foto van een rommelig bureau, en een spraakbericht dat een beetje trillerig klinkt. Een basiscomputer zou de tekst kunnen lezen en zeggen: "De persoon is oké." Maar een Perspective-Aware AI wil een Situation Graph bouwen.

Denk aan een Situation Graph als een 3D-mentaal diagram van een specifiek moment in iemands leven. Het is niet alleen een lijst met feiten; het is een web van verbindingen.

De Oppervlakkige Nodes: Dit zijn de gemakkelijk te zien dingen, zoals "Kantoor", "Dinsdag" of "E-mail".
De Latente Nodes: Dit zijn de onzichtbare, interne staten, zoals "Gevoel van Stress", "Gewaardeerd" of "Verward".

Het doel van Situation Graph Prediction (SGP) is om de rommelige stapel aanwijzingen (de "artefacten") te nemen en achteruit te werken om dat volledige mentale diagram te bouwen. Het papier kadert dit als een "inverse inference problem" (een invers inferentieprobleem). Normaal gesproken kennen we de oorzaak (de persoon is gestrest) en zien we het gevolg (ze sturen een kort e-mailbericht). SGP vraagt de AI om het omgekeerde te doen: "Ik zie een kort e-mailbericht; wat moet de persoon van binnen voelen?"

De "Nepwereld" Oplossing

Hier komt het lastige deel: In de echte wereld kunnen we mensen niet vragen: "Hé, kun je nu even een kaart tekenen van je gevoelens?" Dat is te privé en te irritant. Dus, hoe train je een AI hierm in zonder echte data?

De auteurs kwamen met een briljante "structuur-eerst" strategie. In plaats van een AI te vragen om een persoon te bedenken en vervolgens hun gevoelens te raden (wat rommelig en onbetrouwbaar is), draaiden ze de rollen om:

Teken eerst de Kaart: Ze gebruikten een computer om een perfecte, geldige "Situation Graph" te generen (bijv. "Persoon is bij een sollicitatiegesprek", "Voelt zich Nerveus", "Doel is om aangenomen te worden").
Genereer de Aanwijzingen: Daarna vroegen ze een AI om de "bewijslast" te schrijven die natuurlijk uit die kaart zou voortkomen. Dus als de kaart zegt "Nerveus", schrijft de AI een trillerig spraakbericht of een zeer beleefde, overdreven formele e-mail.

Dit creëert een perfecte trainingsset waarbij de "antwoordsleutel" (de kaart) gegarandeerd overeenkomt met de "aanwijzingen" (de tekst/audio). Het is alsoam een nep-plaats delict te bouwen waar de detective precies weet wie de dader is, zodat ze de zaak kunnen oefenen oplossen zonder ooit een echt persoon te schaden.

De Pilot Study: De AI-detectives Testen

Om te zien of dit daadwerkelijk werkt, bouwden de onderzoekers een kleine "pilot" dataset. Ze creëerden 75 verschillende scenario's met een fictief personage genaamd Elise Navarro, een 28-jarige marketinganalist wonend in Toronto. Ze volgden haar leven gedurende 75 verschillende momenten tussen 2021 en 2025, variërend van professionele worstelingen tot mijlpalen op het gebied van gezondheid.

Vervolgens gaven ze deze 75 gevallen aan drie van de krachtigste AI-modellen van dit moment: GPT-4o, Gemini 2.5 Flash en Claude Sonnet 4. Ze vroegen de AI's om naar de aanwijzingen van Elise te kijken en haar Situation Graph te reconstrueren.

De resultaten waren een mix van "niet slecht" en "nog een heel eind te gaan".

Het Goede Nieuws: Wanneer de AI's enkele voorbeelden kregen om van te leren (een techniek genaamd Retrieval-Augmented In-Context Learning), werden ze veel beter in de taak. Hun vermogen om de details goed te krijgen, nam aanzienlijk toe.
De Grote Ontdekking: Zelfs de slimste AI's vonden het veel makkelijker om de oppervlakkige feiten te spotten (zoals "Elise is op het werk") dan om de verborgen gevoelens te raden (zoals "Elie voelt zich overweldigd").

De onderzoekers maten dit met een "gap" score. Ze ontdekten dat voor alle drie de modellen het vermogen om de verborgen gevoelens te raden consequent slechter was dan het spotten van de zichtbare feiten. Bijvoorbeeld, met Claude Sonnet 4 was de "gap" ongeveer 0,70, wat betekent dat de AI aanzienlijk beter was in het lezen van de oppervlakte dan de ziel. Dit suggereert dat hoewel AI erg goed wordt in het lezen van onze digitale voetafdrukken, het nog steeds moeite heeft met het begrijpen van het waarom en het hoe we ons voelen erachter.

Waarom dit Ertoe Doet (En Wat het Niet Is)

Dit papier beweert niet het probleem van perfecte AI-empathie te hebben opgelost. Sterker nog, het suggereert het tegenovergestelde: dat dit een echt moeilijk probleem is dat de huidige technologie pas net begint aan te pakken. De studie laat zien dat zelfs met de beste modellen er een consistente strijd is om van "wat er gebeurde" naar "wat het betekent" te gaan.

De auteurs benadrukken voorzichtig dat hun data synthetisch (nep) en klein is. Ze zeggen niet: "We hebben een perfect systeem." Ze zeggen: "We hebben een nieuwe manier om dit te testen, en de tests laten zien dat het raden van menselijke gevoelens nog steeds veel moeilijker is dan simpelweg een tekstbericht lezen."

Door dit "Situation Graph" framework en de synthetische data te creëren om dit te testen, hebben de onderzoekers de AI-gemeenschap een nieuw instrument gegeven. Het is alsoam detectives een nieuwe set oefenpoppen te geven die menselijk gedrag perfect nabootsen, zodat ze hun vaardigheden kunnen oefenen zonder iemands privacy te schenden. De hoop is dat door precies te begrijpen waar de AI tekortschiet (de kloof tussen de oppervlakte en de latente staat), we betere, meer betrouwbare persoonlijke agenten kunnen bouwen die ons echt begrijpen, en niet alleen wat we typen.

Dus, de volgende keer dat je met een persoonlijke AI praat, onthoud dan: het kan weten dat je op kantoor bent en dat je een e-mail hebt gestuurd, maar begrijpen dat je eigenlijk een slechte dag hebt? Dat is de volgende grote berg die de AI moet beklimmen.

Technische Samenvatting: Situatiegrafiekvoorspelling voor Gebruikersperspectiefmodellering

Probleemstelling

Huidige persoonlijke AI-agenten missen het vermogen om evoluerende interne toestanden te modelleren—zoals doelen, emoties en contextuele interpretaties—buiten statische voorkeursvectoren om. Deze beperking belemmert de ontwikkeling van "Perspectiefbewuste AI" (PAi), die een begrip vereist van de longitudinale trajectorie van ervaringen van een entiteit. Vooruitgang in PAi wordt momenteel geblokkeerd door een gebrek aan gegronde supervisiedata: digitale voetafdrukken uit de echte wereld zijn privacygevoelig, gesiloed en bevatten zelden expliciete labels voor latente perspectiefvariabelen (bijv. de interne emotionele staat of intentie van een gebruiker). Bijgevolg blijft het trainen van modellen om observeerbare artefacten (logs, audio, tekst) te mappen naar gestructureerde, aan een ontologie uitgelijnde representaties van het gebruikersperspectief onhandelbaar.

Methodologie

Het paper stelt Situatiegrafiekvoorspelling (Situation Graph Prediction, SGP) voor, een taak geformuleerd als een invers inferentieprobleem. Het doel is om een gestructureerde Situatiegrafiek ( $G_t$ ) te reconstrueren uit observeerbare multimodale digitale artefacten ( $X_t$ ).

1. Representatie en Formalisering

Situatiegrafiek ( $G_t$ ): Een gestructureerde representatie geworteld in de DOLCE Ultralite (DUL) upper ontologie. Deze wordt gedefinieerd als een verzameling semantische triplets $(s, p, o)$ waarbij knopen deelnemers, spatio-temporele structuren, contextuele atmosferen en psychologische toestanden vertegenwoordigen.
Latent versus Oppervlakte: Het schema maakt onderscheid tussen oppervlakte-attributen (observeerbare entiteiten zoals locatie of tijd) en latente attributen (onobserveerbare interne toestanden zoals emotie of valentie).
Taakdefinitie: SGP wordt gedefinieerd als het vinden van $\hat{G}_t = \arg\max_{G \in \mathcal{G}} P(G | X_t; \Theta)$ , waarbij $\mathcal{G}$ de ruimte is van geldige grafieken onder het schema. Het paper richt zich op In-Context Inferentie met behulp van bevroren foundation-modellen, waarbij $\Theta$ een vooraf getraind model en een dynamisch opgehaalde ondersteunende set voorbeelden omvat.

2. Structuur-eerst Synthetische Datageneratie

Om het ontbreken van gelabelde data uit de echte wereld te overwinnen, introduceren de auteurs een structuur-eerst synthetische generatiestrategie:

Sampling: Een geldige Situatiegrafiek ( $G_t$ ) wordt direct gesampled uit de priorverdeling van de ontologie, wat het perspectief van een hypothetische gebruiker (doelen, affect, context) codeert.
Conditionele Rendering: Een LLM wordt geprompt om observeerbare artefacten ( $X_t$ ) (bijv. e-mails, chatlogs, audiotranscripties) te genereren die strikt consistent zijn met de vooraf gesamplede $G_t$ .
Uitlijning: Deze inversie zorgt ervoor dat de "ground truth" label ( $G_t$ ) inherent is uitgelijnd met de gegenereerde bewijslast ( $X_t$ ) door ontwerp, in plaats van dat dit post-hoc annotatie vereist.

3. Constructie van een Pilot-dataset

Een pilot-dataset werd geconstrueerd met een enkel fictief persona, "Elise Navarro", verspreid over 75 temporeel geordende gebeurtenissen in de periode 2021–2025. De dataset bevat 225 synthetische artefacten binnen professionele, persoonlijke, gezondheidsgerelateerde en sociale domeinen, primair tekstgebaseerd met een subset van afbeeldingen en audio.

4. Diagnostische Studieopzet

De studie evalueert Taak 1: Statische Situatiegrafiekvoorspelling (het afleiden van een grafiek uit een enkel tijdssegment zonder historische context).

Modellen: Drie frontier foundation-modellen werden getest: GPT-4o, Gemini 2.5 Flash, en Claude Sonnet 4.
Protocollen:
- Zero-Shot: Modellen ontvangen artefacten en ontologie-definities maar geen voorbeelden.
- Retrieval-Augmented In-Context Learning (RA-ICL): Modellen ontvangen de top-3 semantisch gelijkaardige $(X, G)$ paren als demonstraties.
Metrieken: Prestaties worden gemeten met behulp van Strict $F_1$ , Soft $F_1$ (met behulp van embedding-gelijkenis), en de Predicate Violation Rate (PVR). Cruciaal is dat metrieken worden gedecomponeerd in oppervlakte (observeerbaar) en latente (interne staat) subsets. Een entropie-genormaliseerde kloof wordt berekend om rekening te houden met verschillen in vocabulaire-diversiteit tussen oppervlakte- en latente categorieën.

Belangrijkste Resultaten

De diagnostische studie over de drie modellen leverde de volgende bevindingen op:

Niet-triviale Moeilijkheid: SGP vormt een aanzienlijke uitdaging voor alle geëvalueerde modellen. Hoewel RA-ICL de algehele prestaties substantieel verbeterde (een stijging van de Soft $F_1$ met ~0.3 over de modellen heen), bleven de prestaties imperfect.
Latent-Oppervlakte Kloof: Er werd consequent een positieve kloof waargenomen tussen oppervlakte-extractie en latente perspectief-inferentie. Latente inferentie (bijv. het identificeren van emotie) was consistent moeilijker dan oppervlakte-extractie (bijv. het identificeren van locatie), zelfs wanneer er werd gecontroleerd voor vocabulairegrootte via entropie-normalisatie.
- Entropie-genormaliseerde Kloof: Onder RA-ICL was de kloof +0.528 (GPT-4o), +0.668 (Gemini), en +0.704 (Claude).
Modelspecifieke Gedragingen:
- Claude Sonnet 4: Behaalde de hoogste Strict en Soft $F_1$ -scores, maar ook de grootste latent-oppervlakte kloof, wat suggereert dat de superieure basiscapaciteit disproportioneel ten goede komt aan oppervlakte-extractie.
- Gemini 2.5 Flash: Vertoonde een hoge recall met een bijna nul-waardige predicate violation rate (PVR = 0.002), wat duidt op een neiging tot overgeneratie terwijl de strikte ontologie-naleving behouden blijft.
- GPT-4o: Toonde een gebalanceerde precisie en recall met een gematigde violation rate.

Betekenis en Claims

Het paper positioneert SGP als een concreet kader voor het bevorderen van Perspectiefbewuste AI door een gestructureerde, aan een ontologie gelijnde aanpak te bieden voor het modelleren van gebruikersidentiteit als een longitudinale traject in plaats van een statische vector.

Methodologische Bijdrage: De auteurs beweren dat de structuur-eerst synthetische generatiestrategie succesvol is in het mogelijk maken van de creatie van gelabelde perspectiefdata zonder afhankelijk te zijn van echte gebruikerssporen, waarmee het privacy-bottleneck wordt aangepakt.
Empirisch Bewijs: De studie levert bewijs dat het afleiden van latente interne toestanden uit multimodale artefacten een afzonderlijke en moeilijkere uitdaging is dan oppervlakte-extractie, een bevinding die standhoudt over verschillende modelfamilies en architecturen heen.
Toekomstige Bruikbaarheid: De auteurs stellen dat SGP een noodzakelijk "long-horizon geheugen-substraat" biedt voor persoonlijke agenten, wat toepassingen ondersteunt in adaptief onderwijs, gezondheidszorg en bias-auditing, terwijl ze ook de ethische verplichtingen benadrukken die inherent zijn aan het afleiden van interne toestanden.

Het werk wordt gepresenteerd als een pilotstudie en diagnostische evaluatie. De auteurs geven expliciet aan dat de dataset kleinschalig is en bedoeld is om de structuur-eerst benadering en de haalbaarheid van de taak te valideren, waarbij volledig gesuperviseerde training en grootschalige implementatie als toekomstig werk worden beschouwd.