🤖 machine learning

LLM for the development of FCM

Dit artikel으로 toont aan dat een lokaal groot taalmodel (Qwen2.5-32B) kwantitatieve gegevens kan extraheren uit ongefilterde TripAdvisor-hotelbeoordelingen om een datagestuurde Fuzzy Cognitive Map te construeren en te valideren die de voorkeuren van beoordelaars effectief correleert met sterrenratings.

Oorspronkelijke auteurs: Alexis Kafantaris

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexis Kafantaris

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, praatgrage robotbrein hebt dat op je eigen computer leeft. Deze robot, genaamd Qwen2.5-32B, is als een super slimme detective die duizenden hotelrecensies kan lezen en precies kan ontdekken wat een reiziger gelukkig maakt. Het artikel van Alexis Kafantaris laat ons zien hoe deze lokale robotdetective een "Fuzzy Cognitive Map" (FCM) kan bouwen, wat in feft een digitale spinnenweb van oorzaak en gevolg is die uitlegt waarom mensen hotels goede of slechte sterren geven.

De Missie van de Detective: Woorden Omzetten in Getallen

Normaal gesproken probeer je om hotelrecensies te begrijpen door woorden te tellen of de stemming te raden. Maar dit artikel suggereert een slimmere manier: laat de robot de tekst lezen en specifieke getallen eruit halen, zoals een score voor "Personeel", "Ontbijt" of "Lawaai".

Denk aan een chefkok die een soep proeft. In plaats van alleen te zeggen "het is goed", proeft de robot de soep en zegt: "Het zout is +0,6, de peper is -0,1 en de bouillon is +0,7." De robot deed dit voor 1.505 Griekse hotelrecensies van TripAdvisor. Het veranderde rommelige, praatgrage tekst in een nette tabel met getallen.

Het Bouwen van het Spinnenweb (De FCM)

Zodra de robot de getallen had, bouwden de onderzoekers de Fuzzy Cognitive Map. Stel je een spinnenweb voor waarbij het centrum de "Tevredenheid" van de gast is. Aan dit centrum zitten negen verschillende draden vast, die elk een hotelkenmerk vertegenwoordigen zoals Personeel, Prijs-kwaliteitverhouding, Comfort of Locatie.

De onderzoekers leerden het spinnenweb hoe sterk elke draad is met behulp van een wiskundige truc genaamd gradient descent. Het is als een wandelaar die probeert de bodem van een vallei te vinden door kleine stappen bergafwaarts te zetten; de wandelaar past het pad steeds aan totdat ze de perfecte plek vinden waar de fout het kleinst is. In dit geval paste de "wandelaar" de sterkte van de verbindingen tussen de kenmerken (zoals Personeel) en het uiteindelijke gevoel (Tevredenheid) aan, totdat het model nauwkeurig kon voorspellen hoe tevreden een gast zou zijn.

Wat het Spinnenweb Onthulde

De resultaten waren verrassend duidelijk. De robot ontdekte dat voor Griekse recensenten de twee sterkste draden die de "Tevredenheid"-kern omhoog hielden, Personeel en Prijs-kwaliteitverhouding waren.

Personeel had een gewicht van +0,65.
Prijs-kwaliteitverhouding had een gewicht van +0,56.
Comfort en Voorzieningen waren ook belangrijk, maar Inchecken en Netheid waren verrassend zwakke schakels, die weinig bijdroegen zodra de andere factoren werden meegewogen.

Het artikel sluit expliciet uit dat kleinere robotbreinen (zoals de 0,5B of 7B versies) deze taak zouden kunnen uitvoeren. De auteurs vonden dat kleinere modellen aan het "hallucineren" waren (dingen verzinnen) of de tekens fout deden (zeggen dat iets goed was terwijl het slecht was). Alleen het grotere, intelligentere Qwen2.5-32B model kon de gegevens correct extraheren. Ze probeerden ook een tool genaamd VADER (een standaard sentimentanalyser), maar die faalde jammerlijk omdat het niet om kon gaan met gemengde gevoelens of specifieke categorieën in hotelrecensies.

Is het Spinnenweb Echt? (Het Bewijs)

Hoe weten we dat dit geen gelukstreffer is? De onderzoekers voerden een reeks tests uit:

De "Wat Als"-test: Ze hebben de antwoorden 200 keer willekeurig door elkaar gehusseld. Wanneer ze dit deden, faalde het model volledig (met een score van -0,324). Dit bewijst dat het model echte patronen heeft geleerd, en niet alleen ruis.
De "Sterrenwaardering"-test: Hier komt het coolste deel. De robot heeft de sterrenwaarderingen nooit gezien (1 tot 5 sterren) tijdens de training. Het zag alleen de tekst en de geëxtraheerde getallen. Later vergeleken de onderzoekers de voorspelde "Tevredenheidsscore" van de robot met de werkelijke sterrenwaarderingen die de hotels ontvingen.
- Voor hotels met ten minste 10 recensies kwam de voorspelling van de robot overeen met de sterrenwaardering met een correlatie van +0,807.
- Dit suggereert dat als de robot op basis van de tekst denkt dat een gast tevreden is, die gast zeer waarschijnlijk een hoge sterrenwaardering aan het hotel zal geven.

De Limieten van de Magie

Het artikel is voorzichtig om dit niet te bestempelen als een perfect, opgelost probleem.

Het is niet de sterkste voorspeller: Als je alleen maar de hoogst mogelijke score wilt voor het voorspellen van een getal, presteren andere tools zoals XGBoost of Random Forest eigenlijk beter (een score van +0,856 versus de +0,782 van de FCM).
De Afweging: De reden om deze FCM-spinnenweb te gebruiken is niet brute kracht; het is helderheid. Je kunt naar het web kijken en zien waarom de robot denkt dat een hotel goed is (vanwege de Personeel-draad). Je kunt niet in de "black box" van de andere tools kijken.
De Kosten: Het draaien van dit lokale robotbrein is duur en traag. Het vereist een krachtige computer (GPU) en het duurt uren om zelfs een paar duizend recensies te verwerken. De auteurs suggereren dat hoewel het werkt, het nog geen goedkope, instant oplossing is voor miljoenen recensies.

De Kern van het Verhaal

Dit artikel suggereert dat een lokale AI-robot hotelrecensies kan lezen, deze in getallen kan omzetten en een helder, begrijpelijk kaart van wat gasten gelukkig maakt kan bouwen. Het bewijst dat Personeel en Prijs-kwaliteitverhouding de koningen zijn van de Griekse hoteltevredenheid. Hoewel het niet het snelste of krachtigste gereedschap in de kist is, biedt het een uniek, transparant inzicht in menselijke gevoelens dat andere tools niet kunnen bieden. De auteurs concluderen dat deze methode goed genoeg werkt om nuttig te zijn, maar dat toekomstig werk moet zoeken naar goedkopere manieren om het uit te voeren en misschien meer functies aan de kaart moet toevoegen.

Technische Samenvatting: LLM voor de ontwikkeling van FCM

Probleemstelling
Het artikel adresseert een gat in de toepassing van Large Language Models (LLM's) bij de constructie van Fuzzy Cognitive Maps (FCM's). Terwijl eerder onderzoek LLM's heeft gebruikt om direct causale relaties tussen concepten te extraheren (bijv. de aanpak van Kosko), stelt dit werk een afwijkende pipeline voor: het gebruik van een lokaal LLM om kwantitatieve gegevens (sentiment scores) te extraheren uit tekstuele inputs, die vervolgens worden gebruikt om een datagestuurde FCM te trainen via gradiëntafdaling. De auteurs merken op dat eerder werk dat vertrouwt op LLM's voor directe extractie van causaliteit vaak dure, state-of-the-art modellen vereist, en dat het potentieel van het louter gebruiken van LLM's als data-extractiemotoren voor daaropvolgende FCM-training niet grondig is onderzocht.

Methodologie
Het voorgestelde framework volgt een vijfstaps-pipeline om ongestructureerde hotelrecensies te transformeren naar een voorspellend, interpreteerbaar model:

Dataverzameling en Preprocessing: De studie maakt gebruik van 1.505 Griekse hotelrecensies van TripAdvisor.
Aspect-Based Sentiment Analysis (ACSA) via lokaal LLM: In plaats van traditionele sentimentanalyse-tools (die de auteurs beperkt vonden, bijv. VADER faalde bij het extraheren van gemengde sentimenten), gebruiken de auteurs een lokaal LLM, specifiek Qwen2.5-32B. Dit model voert zero-shot voorspellingen uit om continue sentiment scores toe te wijzen aan een vaste set van negen conceptcategorieën afgeleid van de Hontology (Schoonmaak, Personeel, Locatie, Ontbijt, Geluid, Prijs-kwaliteitverhouding, Comfort, Voorzieningen, Inchecken). De auteurs stelden vast dat kleinere modellen (bijv. Qwen2.5-0.5B, Mistral-7B) ruisige signalen of hallucinaties produceerden, terwijl het 32B-parameter model valide, hoogwaardige extractie leverde.
Data-Driven FCM Constructie: De geëxtraheerde sentiment scores dienen als inputkenmerken voor een Fuzzy Cognitive Map. De FCM wordt gemodelleerd als een ondiep recurrent neuraal netwerk waarbij concepten knopen zijn en causale relaties gewogen randen (edges) vormen.
Training: De gewichten (specifiek de verbindingen van driver-naar-tevredenheid) worden geleerd met behulp van gradiëntafdaling om de kwadratische voorspellingsfout te minimaliseren tussen de output van het model en de doel-tevredenheidsscore. De gebruikte activatiefunctie is tanh.
Evaluatie: Het systeem wordt geëvalueerd met behulp van een 70/30 held-out split, k-fold cross-validatie (5-fold), ablatie-studies en permutatie nul-tests.

Belangrijkste Resultaten

Voorspellende Prestaties: De datagestuurde FCM bereikte een held-out $R^2$ van 0,795, wat de lineaire regressie baseline (0,669) en een gemiddelde estimator (-0,000) significant overtreft. Hoewel het de ruwe voorspellende kracht van black-box modellen zoals XGBoost (0,856) of Random Forest (0,850) niet overtrof, behield het een hoge prestatie terwijl het interpreteerbaar bleef.
Ablatie en Kenmerkbelang: De ablatie-studie toonde aan dat Personeel en Prijs-kwaliteitverhouding de meest kritieke drijvers zijn voor tevredenheid. Het verwijderen van deze concepten veroorzaakte de grootste degradatie in modelprestaties. Daarentegen droegen "Inchecken" en "Schoonmaak" verwaarloosbaar bij zodra andere drijvers aanwezig waren.
Stabiliteit: Het model vertoonde stabiliteit over 5-fold cross-validatie, met lage standaarddeviaties in de geleerde gewichten (bijv. Personeel gewicht: $0,649 \pm 0,013$ ).
Externe Validatie: Een cruciale validatiestap betrof het correleren van de voorspelde tevredenheidsscores van het model met de werkelijke sterclassificaties van de hotels op TripAdvisor. Het model heeft tijdens de training nooit sterclassificaties gezien. Er werd een sterke positieve Pearson-correlatie waargenomen, die 0,807 bereikte voor hotels met ten minste 10 recensies, wat bevestigt dat de geëxtraheerde sentiment signalen overeenkomen met de werkelijke gebruikerswaarderingen.

Belangrijkste Bijdragen

Nieuwe Pipeline: Het artikel introduceert een specifieke workflow waarbij een lokaal LLM fungeert als een data-extractiemotor om tabelvormige sentimentdata te genereren, die vervolgens wordt gebruikt om een gradiëntafdaling-gebaseerde FCM te trainen, in plaats van de LLM direct causaliteit te laten afleiden.
Leefbaarheid van Lokale LLM's: Het demonstreert dat lokale modellen (Qwen2.5-32B) effectief complexe aspect-gebaseerde sentimentanalyse kunnen uitvoeren op domeinspecifieke tekst (hotelrecensies) met voldoende nauwkeurigheid om downstream modellen te trainen, wat een privacy-bewust alternatief biedt voor cloud-gebaseerde SOTA-modellen.
Interpreteerbaarheid: De resulterende FCM biedt een "star topology" kaart waarbij de causale invloed van specifieke attributen (bijv. Personeel, Prijs-kwaliteitverhouding) op algemene tevredenheid wordt gekwantificeerd en gevisualiseerd, wat inzichten biedt die black-box modellen niet kunnen bieden.

Betekenis en Claims
De auteurs beweren dat deze implementatie erin slaagt de kloof tussen ongestructureerde tekst en gestructureerde systeemdynamica-modellering te overbruggen. De betekenis ligt in de mogelijkheid om een datagestuurde, interpreteerbare FCM te creëren zonder te vertrouwen op handmatige expert-elicitatie voor gewichtsbepaling of dure LLM's voor directe causale inferentie. De sterke correlatie tussen de interne "tevredenheid"-metriek van het model en de externe TripAdvisor sterclassificaties valideert het vermogen van de pipeline om genuanteerde gebruikersvoorkeuren te vangen.

Het artikel hanteert een bescheiden toon met betrekking tot beperkingen, waarbij wordt erkend dat hoewel de lokale LLM-aanpak effectief is, deze computationeel intensief is (vereist GPU's) en beperkt is in schaal vergeleken met cloud-API's. Bovendien merken de auteurs op dat hoewel de FCM interpreteerbaar is, het niet de absolute beste voorspeller is qua ruwe nauwkeurigheid vergeleken met ensemble-methoden zoals XGBoost; de primaire waarde ligt in het begrijpen van het mechanisme van gebruikerstevredenheid in plaats van enkel het maximaliseren van de voorspellende kracht. Toekomstig werk wordt gesuggereerd om de entiteitsset uit te breiden en de FCM te gebruiken als een gepersonaliseerd aanbevelingsinstrument.