💬 NLP

LUMI: Unsupervised Intent Clustering with Multiple Pseudo-Labels

Dit paper introduceert LUMI, een trainings- en labelvrije methode voor intent-clustering in conversational search die door het gebruik van meerdere pseudo-labels en het benutten van continuïteit in gelijkenissen, betere resultaten behaalt dan bestaande state-of-the-art-baselines zonder dat het aantal clusters vooraf geschat hoeft te worden.

Oorspronkelijke auteurs: I-Fan Lin, Faegheh Hasibi, Suzan Verberne

Gepubliceerd 2026-02-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: I-Fan Lin, Faegheh Hasibi, Suzan Verberne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme berg post hebt binnengekregen van klanten die contact opnemen met een klantenservice. Elke brief is een korte zin, zoals "Mijn kaart werkt niet" of "Ik wil mijn saldo zien". Je wilt deze brieven sorteren in stapels (clusters) zodat je weet welke vragen bij elkaar horen, maar je hebt geen lijstje met de juiste namen voor die stapels. Je weet niet eens hoeveel stapels er precies zijn.

Dat is het probleem dat dit papier, getiteld LUMI, probeert op te lossen. Het is een slimme, gratis manier om deze brieven automatisch in de juiste groepen te zetten, zonder dat je er een menselijke trainer voor nodig hebt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Eén-Label" Valstrik

Vroeger probeerden computers dit door elke brief één label te geven, bijvoorbeeld "Kaartprobleem".

Het probleem: Stel je voor dat een brief zegt: "Mijn kaart werkt niet na het opladen." Als de computer alleen het label "Kaartprobleem" geeft, is dat te vaag. Misschien is het label "Opladen mislukt" beter.
De oude methode: De computer moest kiezen: "Ofwel is het A, ofwel is het B." Dat is als proberen een foto te maken door alleen te kiezen tussen 'rood' of 'blauw', terwijl de foto eigenlijk paars is. Dat leidt tot onzekerheid en fouten.

2. De Oplossing: LUMI (De Slimme Samenvoeger)

LUMI doet iets anders. In plaats van één label te kiezen, vraagt het een super-slimme AI (een Large Language Model, of LLM) om meerdere mogelijke namen voor elke brief te bedenken.

Stel je voor dat je een brief leest en de AI zegt: "Dit zou kunnen zijn: 'Kaartprobleem', 'Opladen', of 'Transactiefout'."
LUMI gebruikt al die suggesties tegelijk.

3. Hoe werkt het? (De Drie Stappen)

Stap 1: De "Groepsfoto" (Label-niveau)

Stel je voor dat je een brief hebt en de AI geeft je drie suggesties: A, B en C.
In plaats van te kiezen, maakt LUMI een gemiddelde foto van deze drie suggesties.

De analogie: Als je drie vrienden vraagt om een tekening van een "hond" te maken, en je plakt hun drie tekeningen op elkaar, krijg je een heel duidelijk beeld van wat een hond is, zonder dat je je zorgen hoeft te maken over wie de beste tekenaar is. De "ruis" (foutjes) van de ene tekening wordt weggeveegd door de andere.
Het resultaat: De brief krijgt nu een veel sterker, rustiger signaal dan alleen één label.

Stap 2: De "Soortelijke Vrienden" (Tekst-niveau)

Nu LUMI weet dat brief X en brief Y beide suggesties hebben als "Opladen" en "Transactiefout", ziet het dat ze op elkaar lijken.

De oude methode: De computer vroeg: "Zijn deze twee brieven wel of niet hetzelfde?" (Ja/Nee).
De LUMI-methode: De computer vraagt: "Hoeveel suggesties hebben ze gemeen?"
- Als ze 3 suggesties gemeen hebben, zijn ze zeer op elkaar.
- Als ze maar 1 suggestie gemeen hebben, zijn ze een beetje op elkaar.
De analogie: Stel je voor dat je op een feestje bent. De oude methode zegt: "Je bent ofwel mijn beste vriend, ofwel een vreemde." LUMI zegt: "Je deelt 3 hobby's met die persoon, dus je bent een goede kennis. Die ander deelt maar 1 hobby, dus dat is een voorbijganger." Hierdoor worden de groepen veel natuurlijker gevormd.

4. Waarom is dit zo goed?

Geen vooraf kennis nodig: Je hoeft niet te weten hoeveel groepen er zijn (bijvoorbeeld: "We hebben 50 soorten vragen"). LUMI ontdekt dit vanzelf.
Stabiel: Omdat het gebruikmaakt van meerdere suggesties, is het niet zo gevoelig voor één foutje van de AI.
Snel en goedkoop: Het heeft geen dure training nodig met menselijke data. Het werkt direct.

5. Wat zeggen de resultaten?

De auteurs hebben LUMI getest op vier grote verzamelingen echte klantvragen.

Het resultaat: LUMI deed het beter dan de beste bestaande methoden.
De uitzondering: Bij heel specifieke, fijne details (zoals in de "Bank77" dataset, waar het verschil tussen "toppen" en "niet-toppen" heel klein is) had de AI soms nog wat hulp nodig van menselijke voorbeelden, omdat de nuance erg subtiel is. Maar over het algemeen was het een enorme verbetering.

Samenvattend

LUMI is als een slimme bibliothecaris die niet vraagt: "In welke kast moet dit boek?", maar die eerst vraagt: "Wat zijn de drie beste plekken voor dit boek?" en dan kijkt welke boeken diezelfde drie plekken delen. Zo worden de boeken (of klantvragen) veel natuurlijker en nauwkeuriger in de juiste schappen gezet, zonder dat iemand er hard voor heeft gewerkt.

Probleemstelling

Het paper richt zich op intentie-clustering in conversatieve zoeksystemen. Het doel is om gelabelde gebruikersuitingen (korte teksten) te groeperen in clusters van vergelijkbare intenties zonder gebruik te maken van trainingsdata.

Bestaande methoden, die vaak gebruikmaken van Large Language Models (LLMs) om pseudolabels te genereren, hebben twee belangrijke beperkingen:

Enkele label per tekst: Elke tekst krijgt slechts één pseudolabel. Het verfijnen van representaties op basis van één enkel label kan instabiel zijn en is gevoelig voor ruis in de generatie.
Binair vergelijkingsmodel: Huidige methoden behandelen tekstgelijkheid als een binair besluit (wel/niet vergelijkbaar). Dit negeert de continue gradaties van gelijkenis tussen teksten.

Daarnaast vereisen veel geavanceerde methoden dat het aantal clusters ( $K$ ) vooraf bekend is, wat in onbewaakte scenario's vaak niet het geval is.

Methodologie: LUMI

De auteurs stellen LUMI (Unsupervised Intent Clustering with Multiple Pseudo-Labels) voor. Dit is een trainingsvrije en labelvrije methode die gebruikmaakt van gedeelde pseudolabels om gelijkenissen tussen teksten te versterken. De methode bestaat uit drie hoofdstappen:

Generatie van Pseudolabels:
- Voor elke tekst $x_i$ wordt een initiële pseudolabel gegenereerd door een LLM.
- Om de kwaliteit te waarborgen, krijgt de LLM de $b$ meest vergelijkbare teksten (op basis van cosine-afstand van een bestaande embedder) als context.
- Vervolgens wordt er multi-label classificatie uitgevoerd: de LLM krijgt de tekst en zijn $b$ dichtstbijzijnde buren (elk met een ander label) en genereert een set van meerdere pseudolabels voor de tekst.
Label-level Pooling (Verrijking van representaties):
- De embeddings van de gegenereerde pseudolabels worden gemiddeld om een stabielere representatie te verkrijgen.
- Theoretische onderbouwing: De auteurs bewijzen theoretisch dat het gemiddelde van meerdere pseudolabels dichter bij het ware clustercentrum ligt dan een enkel label. Dit reduceert de variantie (ruis) van het labelgeneratieproces.
- De tekstembedding wordt vervolgens gepooled (gemiddeld) met deze gemiddelde pseudolabel-embedding.
Text-level Pooling (Verfijning op tekstniveau):
- In plaats van een binair selectieproces, gebruikt LUMI een continue gelijkenis-maatstaf.
- De gelijkenis tussen twee teksten wordt bepaald door de Jaccard-afstand van hun sets van pseudolabels. Teksten die meer labels delen, worden als gelijker beschouwd.
- De embedding van een tekst wordt bijgewerkt door deze te poolen met die van zijn vergelijkbare buren, gewogen op basis van de Jaccard-similariteit.

Belangrijkste Bijdragen

Theoretische rechtvaardiging: Het paper biedt een wiskundige onderbouwing waarom het gebruik van meerdere pseudolabels (in plaats van één) leidt tot betere clustering door de variantie van de ruis te verminderen.
Nieuwe architectuur: LUMI combineert de concepten van "LLM-as-a-matcher" (het vinden van vergelijkbare teksten) en "LLM-as-a-labeler" (het genereren van labels) via een hybride aanpak met multiple pseudo-labeling.
Onafhankelijkheid van $K$ : De methode vereist niet dat het aantal clusters ( $K$ ) vooraf bekend is tijdens het verfijnen van de embeddings, wat het zeer geschikt maakt voor echt onbewaakte scenario's.
Robuustheid: De aanpak is trainingsvrij en presteert stabiel over verschillende LLM's (zoals Llama en Gemma) en embedders.

Resultaten

De auteurs hebben LUMI geëvalueerd op vier benchmark-datasets: Bank77, CLINC150, Mtop en Massive.

Prestaties: LUMI presteert consequent beter dan state-of-the-art baselines (zoals IDAS, SPILL, ClusterLLM) op de meeste datasets, zowel in termen van Normalized Mutual Information (NMI) als Clustering Accuracy (ACC).
Vergelijking met SOTA: De methode overtreft recente methoden die gebruikmaken van GPT-3.5 en GPT-4, vaak met een aanzienlijke marge (bijv. +10-13% op ACC voor GPT-3.5), wat aantoont dat LUMI minder afhankelijk is van zeer grote modellen.
Ablatie-studie: Experimenten tonen aan dat zowel de label-level pooling als de text-level pooling (met Jaccard-gewichten) bijdragen aan de verbetering. De text-level pooling levert de grootste winst op op drie van de vier datasets.
Uitzondering: Op de Bank77-dataset (zeer fijnmazige intenties) is de prestatie wat minder consistent. De analyse suggereert dat de pseudolabels hier "ruiziger" zijn omdat ze meerdere echte intenties samenvoegen (bijv. "card top up issue" voor zowel automatische als uitgestelde transacties). Dit wijst op de noodzaak van meer specifieke voorbeelden (few-shot) voor zeer fijnmazige domeinen.

Significantie

LUMI vertegenwoordigt een belangrijke stap voorwaarts in onbewaakte intentie-clustering. Door de afhankelijkheid van handmatige labels en het vooraf kennen van het aantal clusters te elimineren, maakt het de technologie toegankelijker voor praktische toepassingen in conversatieve agents en zoeksystemen. De methode demonstreert dat het slim combineren van meerdere LLM-generaties en continue gelijkenis-metingen leidt tot robuustere en nauwkeurigere representaties dan eerdere benaderingen die zich beperkten tot één label of binair vergelijken. De broncode is openbaar beschikbaar gesteld, wat de reproduceerbaarheid en adoptie verder faciliteert.