🤖 machine learning

Human Preference aligned Tabular Similarity

Dit artikel betoogt dat huidige methoden voor tabel-embeddings, die geoptimaliseerd zijn voor voorspellingsopdrachten, er niet in slagen aan te sluiten bij menselijke voorkeuren voor gelijkeniszoekopdrachten, en stelt een nieuwe evaluatieprocedure voor om deze kloof te overbruggen met behulp van een Product Lifecycle Management (PLM) use case.

Oorspronkelijke auteurs: Frederik Hoppe, Astrid Franz, Marianne Michaelis, Lars Kleinemeier, Udo Göbel

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Frederik Hoppe, Astrid Franz, Marianne Michaelis, Lars Kleinemeier, Udo Göbel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een enorme, magische bibliotheek loopt waar elk boek eigenlijk een spreadsheet is van getallen en woorden. In deze bibliotheek zijn robots wiens taak het is om boeken te vinden die "vergelijkbaar" zijn met het boek dat jij vasthoudt. Als je een boek oppakt over "het repareren van een kapotte broodrooster", moet de robot je andere boeken over broodroosterreparaties geven, en geen boeken over het bakken van taarten of het rijden van auto's. Dit is de wereld van tabulaire data — de georganiseerde rasters van informatie die onze bedrijven, ziekenhuizen en fabrieken aansturen. De robots gebruiken iets dat embeddings wordt genoemd, wat als onzichtbare magnetische codes werkt die elke rij data verandert in een punt in een enorme, meerdimensionale ruimte. Hoe dichter twee punten bij elkaar liggen, hoe meer de robot denkt dat de data vergelijkbaar is.

Lange tijd hebben wetenschappers deze robots geleerd om echt goed te worden in het raden van het antwoord op een specifieke vraag, zoals "Gaat dit onderdeel kapot?" of "Wat is de prijs?". Maar hier is de crux: ergens goed in zijn bij het raden van een antwoord betekent niet altijd dat je goed bent in het vinden van dingen die voor een mens vergelijkbaar aanvoelen. Een robot kan denken dat twee onderdelen tweelingen zijn omdat ze allebei het getal "5" bevatten, ook al weet een menselijke ingenieur dat de een een schroef is en de ander een bout. Deze paper stelt een zeer belangrijke vraag: Hoe zorgen we ervoor dat deze robots dingen vinden die daadwerkelijk zinvol zijn voor de verschillende mensen die hen gebruiken, zoals ingenieurs, fabrieksarbeiders of inkopers?

Het Probleem: Wanneer Robots de "Vibe" Verkeerd Begrijpen

De auteurs van deze paper, werkend met een bedrijf dat software bouwt voor het beheren van productlevenscycli, merkten een grote kloof op. Ze zagen dat hoewel robots steeds slimmer worden in het omzetten van tabellen naar die onzichtbare magnetische codes, we geen goede manier hebben om te controleren of die codes overeenkomen met waar mensen zich daadwerkelijk zorgen over maken.

Stel je voor dat je een robot vraat om "vergelijkbare" wijzigingsverzoeken te vinden voor een nieuw auto-onderdeel. Een ingenieur zou kunnen zeggen: "Deze zijn vergelijkbaar omdat ze beide gaan over het koelsysteem van de motor." Een fabrieksarbeider zou kunnen zeggen: "Nee, deze zijn vergelijkbaar omdat ze beide dezelfde lasmachine vereisen." Een inkoper zou kunnen zeggen: "Deze zijn vergelijkbaar omdat ze van dezelfde leverancier komen."

De paper betoogt dat de huidige manieren om deze robots te testen lijken op het beoordelen van een student enkel op hun wiskundetoetsresultaten, terwijl de student probeert een dichter te worden. De standaardtests meten of de robot een getal of een categorie correct kan voorspellen, maar ze vragen niet: "Vond de menselijke gebruiker het resultaat nuttig?" De auteurs suggereren dat we zonder te vragen wat mensen ervan vinden, blind vliegen. We kunnen een robot hebben die technisch perfect is in wiskunde, maar verschrikkelijk in het begrijpen van menselijke behoeften.

De Oplossing: Een "Proeverij" voor Data

Om dit op te lossen, stellen de auteurs een nieuwe workflow voor die een beetje klinkt als een blind proeverij voor voedsel, maar dan voor data. In plaats van alleen de robot te draaien en te hopen op het beste, stellen ze een driestappenproces voor om menselijke feedback te krijgen:

De Opzet: Eerst maakt de robot zijn magnetische codes voor alle data aan en slaat deze op.
De Selectie: Een menselijke gebruiker krijgt een specifiek item te zien (het "anker"), zoals een specifiek onderdeel of een ticket. De robot roept vervolgens een lijst met items op die hij als de dichtstbijzijnde matches beschouwt.
De Stem: De mens bekijkt het originele item en een van de suggesties van de robot zij aan zij. Vervolgens geeft hij een beoordeling: "Identiek," "Vergelijkbaar," "Beperkt vergelijkbaar," of "Niet vergelijkbaar."

Dit is niet slechts een eenmalige gebeurtenis. De auteurs suggereren dit keer op keer te doen, waarbij duizenden van deze "stemmen" worden verzameld. Dit creëert een kaart van wat verschillende groepen mensen daadwerkelijk als vergelijkbaar beschouwen.

Wat Ze Vonden: Iedereen Ziet de Wereld Anders

Om hun idee te testen, voerde het team een kleine pilotstudie uit. Ze namen een lijst van 20 verschillende "tickets" (zoals hulpverzoeken of wijzigingen) en vroegen aan drie verschillende mensen om de top 6 matches te beoordelen die de robot vond voor elk van hen.

De resultaten waren oogopenend. Van de 120 paren items die ze bekeken, kwamen de drie mensen alleen overeen over de beoordeling voor 63 paren (wat 52,5% is). In 52 paren (43,3%) waren twee mensen het eens, maar de derde was het er niet mee eens, en in 5 paren (4,2%) gaven alle drie de mensen een verschillende beoordeling!

Dit bewijst dat "gelijkenis" niet één enkele, vaste feit is. Het hangt volledig af van wie je bent. Een ingenieur ziet misschien een patroon dat een inkoper mist, en vice versa.

Het team testte vervolgens 10 verschillende robotalgoritmen om te zien welk algoritme het beste was in het raden van wat deze mensen wilden. Hier is de twist: er was geen enkele "winnaar".

Voor Annotator 1 en Annotator 3 was Algoritme 7 het beste.
Maar voor Annotator 2 was Algoritme 4 het beste.

Nog interessanter was dat het verschil tussen de "beste" en de "op één na beste" voor Annotator 2 minuscuul was — slechts één enkel triplet (een groep van drie items) uit 165. Dit suggereert dat het met zo'n klein aantal stemmen moeilijk is om 100% zeker te weten welke robot echt beter is. De auteurs wijzen erop dat we meer data nodig hebben om zekerheid te krijgen, maar de belangrijkste les is duidelijk: Eén maat past niet iedereen. Een robot die perfect is voor een ingenieur, kan nutteloos zijn voor een inkoper.

Waarom Dit Belangrijk Is voor Vertrouwen

De paper concludeert dat voor AI werkelijk betrouwbaar te zijn, we niet alleen kunnen vertrouwen op de interne wiskunde van de robot. We moeten een systeem bouwen waarin mensen constant het werk van de robot kunnen controleren.

Ze benadrukken vier belangrijke voordelen van deze aanpak:

Rechtvaardigheid: Het zorgt ervoor dat de robot verschillende groepen mensen (zoals ingenieurs versus inkopers) eerlijk behandelt, in plaats van één perspectief te bevoordelen.
Transparantie: Het stelt mensen in staat om te zien waarom de robot een bepa certain item heeft gekozen, waardoor de "black box" iets minder donker wordt.
Robuustheid: Het hels bij het vinden van rommelige data, zoals duplicaten of verwarrende categorieën, die de robot mogelijk verkeerd begrijpt.
Verantwoordelijkheid: Het creëert een papieren spoor van menselijke beslissingen, wat cruciaal is als de AI een fout maakt in een gereguleerde sector.

De auteurs geven toe dat het vragen aan mensen om dit te doen hard werk is en tijd kost. Ze beweren niet dat ze het probleem al perfect hebben opgelost. In plaats daarvan roepen ze de wetenschappelijke gemeenschap op om deze "menselijke proeverijen" als een standaard onderdeel van het bouwen van AI te gaan gebruiken. Ze argumenteren dat vertrouwen niet iets is dat je eenmalig in de code bakt; het is iets dat je bouwt door constant te luisteren naar de mensen die het systeem gebruiken.

Technische Samenvatting: Menselijke Voorkeur-gealigneerde Tabulaire Gelijkenis

Probleemstelling

Hoewel taakonafhankelijke tabulaire embeddings steeds vaker worden gebruikt voor gelijkeniszoekopdrachten in industriële systemen zoals Product Lifecycle Management (PLM), bestaat er een kritieke kloof in hun evaluatie. Huidige toonaangeande embedding-benaderingen zijn geoptimaliseerd voor voorspellings-taken (classificatie, regressie) in plaats van het produceren van gelijkenis-rangschikkingen die aansluiten bij menselijke voorkeuren. Standaard downstream-metrieken (bijv. nauwkeurigheid, F1-score) zijn onvoldoende om het vertrouwen in gelijkeniszoekopdrachten te beoordelen, omdat ze er niet in slagen "menselijk waargenomen gelijkenis" te vatten.

In industriële contexten is gelijkenis zeer subjectief en gebruikersafhankelijk. In een PLM-systeem kan een ingenieur gelijkenis definiëren op basis van geometrische eigenschappen, een productiemedewerker op basis van productieprocessen, en een inkoper op basis van de herkomst van leveranciers. Een embedding-model dat goed presteert op objectieve classificatie-benchmarks kan daarom nabijgelegen records ophalen die structureel gelijk zijn, maar semantisch betekenisloos voor specifieke domeinexperts. Bovendien adresseren bestaande Information Retrieval (IR)-metrieken (bijv. MRR, NDCG) en Reinforcement Learning from Human Feedback (RLHF)-benaderingen de heterogeniteit van tabulaire data of de diverse, vaak tegenstrijdige voorkeuren van verschillende gebruikersgroepen niet adequaat.

Methodologie

De auteurs stellen een concreet evaluatiewerkproces voor dat ontworpen is om menselijke voorkeur-alignment voor tabulaire gelijkenis te vatten. Dit werkproces bestaat uit drie primaire stappen:

Inname (Ingestion): Tabulaire records worden geëmbed via een vooraf geselecteerd model en geïndexeerd in een vector store. Configuratiegegevens, inclusief het embedding-model en de afstandfunctie (bijv. cosinusafstand), worden opgeslagen als metadata.
Ankerselectie (Anchor Selection): Een anker-record wordt geselecteerd uit de dataset. Selectiestrategieën omvatten willekeurige bemonstering (mogelijk gestuurd door onzekerheid of diversiteits-sampling), attribuut-gebaseerde filtering, hybride retrieval, of directe gebruikersselectie op basis van zakelijke kritikaliteit. Het systeem haalt de dichtstbijzijnde buren voor dit anker op op basis van de vooraf gedefinieerde afstandfunctie.
Gebruikersbeoordeling (User Assessment): De anker en een naburig record worden zij aan zij weergegeven. Gebruikers kennen een paarwijze gelijkenis-label toe (bijv. "identiek", "gelijk", "lichtelijk gelijk", "niet gelijk"). Deze labels worden opgeslagen samen met geanonimiseerde gebruikers- en sessiemetadata. Om de datakwaliteit te waarborgen, worden metrieken voor inter-annotator overeenstemming (bijv. Cohen's $\kappa$ ) gemonitord, en worden onenigheden gemarkeerd voor analyse.

De auteurs merken op dat hoewel Approximate Nearest Neighbor (ANN) zoekopdrachten vaak worden gebruikt voor schaalbaarheid, exacte nearest neighbor zoekopdrachten of getunede ANN-hyperparameters moeten worden overwogen tijdens de annotatie om retrieval-ruis te minimaliseren.

Belangrijkste Bijdragen

Identificatie van de Evaluatiekloof: Het artikel betoogt dat objectieve downstream-metrieken inadequaat zijn voor het beoordelen van het vertrouwen in tabulaire embeddings bij gelijkeniszoekopdrachten, waarbij specifiek wordt gewezen op het gebrek aan menselijke voorkeur-alignment.
Voorgesteld Evaluatiewerkproces: Er wordt een gestructureerde, driestaps procedure geïntroduceerd voor het verzamelen van menselijke voorkeur-rangschikkingen. Dit werkproces faciliteert active learning en maakt de geautomatiseerde kwantitatieve evaluatie van embedding-algoritmen op basis van gebruikersspecifieke relevantie mogelijk.
Gebruikersgroep-specifiteit: Het framework ondersteunt expliciet de generatie van gebruikersgroep-specifieke rangschikkingen. Het erkent dat een optimale embedding-configuratie voor de ene groep (bijv. ingenieurs) kan verschillen van een andere (bijv. inkopers), wat het concept van één enkele "beste" globale model uitdaagt.
Integratie met Betrouwbare AI (Trustworthy AI): De auteurs koppelen hun voorgestelde werkproces aan vier pijlers van Betrouwbare AI:
- Fairness (Rechtvaardigheid): Het mogelijk maken van een rechtvaardige behandeling van verschillende gebruikersgroepen.
- Transparency (Transparantie): Het zichtbaar maken van buurtstructuren en retrieval-logica voor gebruikers.
- Robustness (Robuustheid): Het gebruik van gelijkenis-labels om problemen met datakwaliteit (duplicaten, inconsistenties) te identificeren.
- Accountability (Verantwoordelijkheid): Het bieden van persistente records voor governance en kwaliteitsborging.

Resultaten: Pilotstudie

De auteurs hebben een pilotstudie uitgevoerd met een PLM-ticketdataset die verschillende categorieën bevat (IT, veiligheid, permissie).

Opzet: Drie annotatoren beoordeelden de top-6 dichtstbijzijnde buren voor 20 anker-tickets op een 4-puntsschaal, wat resulteerde in 120 ticket-paren met elk drie annotaties.
Divergentie: Er werd aanzienlijke onenigheid waargenomen. Slechts 52,5% van de paren ontving identieke beoordelingen van alle drie de annotatoren, terwijl 43,3% in twee verschillende categorieën werd beoordeeld en 4,2% in drie. Dit suggereert dat onenigheid vaak een legitieme, domeinspecifieke reflectie is van verschillende perspectieven in plaats van willekeurige ruis.
Algoritme-evaluatie: De studie evalueerde 10 verschillende embedding-algoritmen met behulp van triplet accuracy (het meten of de afstand tot een "gelijker" item kleiner is dan tot een "minder gelijk" item).
- Prestatievariantie: Algoritme 7 presteerde het best voor Annotator 1 en 3, terwijl Algoritme 4 superieur was voor Annotator 2.
- Statistische Sensitiviteit: Het prestatieverschil tussen de top-algoritmen voor Annotator 2 (Algoritmen 4 en 7) was marginaal (een verschil van één enkel triplet). Dit onderstreept de noodzaak van voldoende annotatievolume om statistische zekerheid te verkrijgen bij het identificeren van groepsspecifieke voorkeuren.

Betekenis en Claims

Het artikel positioneert zichzelf als een oproep aan de gemeenschap om bredere evaluatiestandaarden te adopteren die in lijn zijn met de principes van Betrouwbare AI. De auteurs beweren niet het probleem van tabulaire gelijkenis te hebben opgelost, maar schetsen de noodzaak van mensgerichte validatie.

Emergente Betrouwbaarheid: Het artikel betoogt dat de betrouwbaarheid van AI-systemen geen intrinsieke eigenschap is van het embedding-model zelf, maar een emergente eigenschap van robuuste socio-technische processen. Deze processen moeten het gedrag van modellen continu inspecteren, uitdagen en documenteren.
Lifecycle Integratie: Gebruikersgroep-specifieke embedding-validatie moet worden geïntegreerd als een fundamentele component van de AI-levenscyclus en risicobeheersingskaders.
Toekomstige Richtingen: De auteurs identificeren vier kritieke vragen voor de gemeenschap om aan te pakken:
1. Hoeveel annotatie is voldoende om diverse gebruikersperspectieven te vertegenwoordigen?
2. Hoe moet men omgaan met legitieme onenigheid tussen annotatoren (voortkomend uit verschillende gebruikersgroepen)?
3. Hoe kunnen biases in embedding-buurten worden gedetecteerd en gemitigeerd over verschillende gebruikersgroepen heen?
4. Hoe kunnen resultaten van voorkeur-rangschikkingen worden teruggekoppeld naar systeemverbetering om aan diverse behoeften te voldoen?

Het werk benadrukt dat, hoewel het middelen-intensief is, menselijke voorkeur-alignment noodzakelijk is om te garanderen dat gelijkeniszoekopdrachten evenredig presteren en voldoen aan de diverse relevantiecriteria van verschillende belanghebbenden in industriële toepassingen.