Technische Samenvatting: Granuscore: Een Referentievrije Maatstaf voor Granulariteit voor Tekstanalyse en Vraagbeantwoording

Probleemstelling

Natuurlijke taal verstrekt informatie op verschillende niveaus van abstractie, variërend van fijnmazige verwijzingen (bijvoorbeeld "Tony Hawk") tot grove beschrijvingen (bijvoorbeeld "een sporter"). Hoewel granulariteit fundamenteel is voor menselijke communicatie en een aanzienlijke impact heeft op dialogsystemen, toegankelijkheid en leesbegrip, zijn bestaande methoden voor het meten ervan beperkt. Huidige benaderingen vertrouwen doorgaans op oppervlakkige kenmerken zoals zinslengte of specificiteit, of ze zijn afhankelijk van handmatig opgestelde taxonomieën (bijvoorbeeld WordNet, Wikidata) die te kampen hebben met beperkte dekking en niet effectief met vrije tekst kunnen omgaan. Er ontbreekt een schaalbare, referentievrije maatstaf die in staat is granulariteit op zinsniveau te kwantificeren over diverse domeinen heen.

Methodologie: Granuscore

De auteurs introduceren Granuscore, een referentievrije maatstaf die gebruikmaakt van de structurele eigenschappen van een hiërarchische inbeddingsruimte om semantische granulariteit te schatten. Lagere scores duiden op fijnmazigere uitdrukkingen, terwijl hogere scores op grovere uitdrukkingen wijzen.

Kernarchitectuur

1. Hiërarchische Inbeddingsruimte: De methode bouwt voort op het Hierarchy Transformer (HiT)-model (Chen et al., 2024), dat hiërarchische structuren vertegenwoordigt in een hyperbolische inbeddingsruimte (Poincaré-bal). In deze geometrie correleert de radiale afstand tot de oorsprong ($Dist_0$) met de hiërarchische diepte: specifieke concepten liggen verder van het centrum, terwijl algemene concepten dichter bij het centrum liggen.
2. Functie-extractie:
   • Globaal Signaal: Het model extrahert $Dist_0$ als primair signaal voor hiërarchische diepte.
   • Relationele Signalen: Om de globale structuur verder dan lokale gelijkenis te vangen, wordt de invoer-inbedding vergeleken met een set ankerentiteiten. Het systeem berekent paarsgewijze cosijn-achtigheden en manifold-afstanden tussen de invoer en deze ankers.
3. Scoremodel: Een gradient-boosted decision tree (LightGBM) wordt getraind om de ruwe gelijkenis- en afstandskenmerken te mappen naar een scalair granulariteitsscore.
4. Kalibratie: Ruwe scores worden omgezet in percentielscores met behulp van een vaste kalibratieverdeling gebaseerd op de WordNet-zelfstandig-naamwoordset (ongeveer 119.000 concepten), zodat de schaal onafhankelijk is van annotatoren.
5. Verwerking van Meerdere Woorden: Voor zinnen of langere teksten decomposeert het systeem de invoer in referentiële eenheden (zelfstandig-naamwoordfrases) met behulp van een op SPACY gebaseerde splitter. De uiteindelijke zinscore is het gemiddelde van de onderste 80% van de eenheidsscores om de invloed van uitschieters te mitigeren.

Trainingsdata

Het model is getraind op GRANOLA-EQ, een dataset die vragen en sets van antwoorden bevat die verwijzen naar hetzelfde entiteit op verschillende granulariteitsniveaus. De trainingsdoelen zijn genormaliseerd naar een continue schaal van 1 (fijnst) tot 4 (grofst). De trainingsprocedure legt strikte data-splitsing op om lekkage te voorkomen, zodat geen enkele granulariteitsrealisatie in meerdere splits voorkomt.

Belangrijkste Bijdragen

1. Introductie van Granuscore: Een nieuwe, referentievrije maatstaf die gebruikmaakt van eigenschappen van hiërarchische inbeddingsruimten om granulariteit te meten zonder afhankelijk te zijn van vooraf gedefinieerde vocabulaires of handmatige taxonomieën.
2. Empirische en Conceptuele Validatie:
   • GRANOLA-EQ: Granuscore herstelt betrouwbaar door mensen geannoteerde hiërarchische ordeningen.
   • Discourscontexten: Het vangt verwachte granulariteitsverschillen tussen secties van wetenschappelijke papers (bijvoorbeeld grovere taal in Inleidingen versus fijnere taal in Gerelateerd Werk).
   • Zinspecificiteit: Het verklaart niet-lineaire variatie in zinspecificiteit over domeinen heen (filmrecensies, tweets, nieuws) die verder gaat dan wat zinslengte alleen kan voorspellen.
3. Toepassing op Vraagbeantwoording (QA): De auteurs analyseren vier QA-benchmarks (FACTS PARAMETRIC, SIMPLEQA, SQUAD, TRUTHFULQA) over zes taalmodellen. Ze identificeren consistente patronen waarbij:
   • Dataset met lagere granulariteit (fijnere details) moeilijker zijn voor modellen.
   • Onjuiste modeluitvoer doorgaans een lagere granulariteit heeft dan correcte uitvoer.
   • De "granulariteitskloof" (verschil tussen modeluitvoer en gouden antwoord) correleert met het falen van het antwoord.
4. Reproduceerbaarheid: De tool is uitgebracht als een pip-pakket om verder onderzoek en productietoepassing te faciliteren.

Resultaten

• Granulariteitsordening: Op de GRANOLA-EQ-testset behaalde de best presterende variant (HiT Dist0 + Random Anchors) 83,76% Global Pairwise Accuracy en 89,03% Intra-entry Pairwise Accuracy. Dit presteert aanzienlijk beter dan baselines zoals Woordaantal (~50%), WordNet (beperkt door dekking) en standaard zinsinbeddingen (MiniLM).
• Discoursanalyse: Inleidingssecties in wetenschappelijke papers vertoonden aanzienlijk hogere Granuscores (grover) dan secties over Gerelateerd Werk (fijner), in overeenstemming met retorische verwachtingen ($p \le 5,49 \times 10^{-37}$).
• Zinspecificiteit: Het toevoegen van Granuscore aan Generalized Additive Models (GAM's) verbeterde de verklaarde deviatie van zinspecificiteitsvoorspellingen met 7–50% over domeinen heen, wat een niet-lineair verband aantoont waarbij een lagere Granuscore correleert met een hogere specificiteit.
• QA-prestaties: Er werd een duidelijke correlatie waargenomen tussen datasetgranulariteit en modelcorrectheid. Modellen presteerden beter op dataset met hogere Granuscores (grovere antwoorden). Bovendien neigden modellen die faalden om te antwoorden of onjuist antwoordden, om uitvoer te produceren met een lagere granulariteit dan hun correcte tegenhangers, wat wijst op een moeilijkheid om de uitvoergranulariteit aan te passen aan confidentieniveaus.

Betekenis en Beweringen

Het paper positioneert Granuscore als een schaalbaar, breed toepasbaar hulpmiddel voor het analyseren van tekstgranulariteit. De primaire betekenis ligt in het bieden van een principiële lens voor:

• Karakteriseren van Dataset-moeilijkheid: Granulariteit biedt een maatstaf voor de moeilijkheid van QA-datasets die verschilt van oppervlakkige eigenschappen zoals antwoordlengte.
• Analyseren van Modelgedrag: Het onthult dat modellen moeite hebben om de antwoordgranulariteit aan te passen op basis van vertrouwen, vaak door te fijnmazige onjuiste antwoorden te produceren of te falen om grove, betrouwbare alternatieven te bieden wanneer ze onzeker zijn.
• Toekomstige Toepassingen: De auteurs suggereren dat Granuscore kan dienen als trainingssignaal om modellen aan te moedigen hun uitvoergranulariteit af te stemmen op hun vertrouwen (bijvoorbeeld grof reageren wanneer onzeker) en ondersteuning te bieden bij gecontroleerde taaladaptatietaken zoals vereenvoudiging en samenvatting.

De auteurs erkennen beperkingen, met name de afhankelijkheid van de WordNet-hiërarchie voor het onderliggende inbeddingsmodel, wat de prestaties kan beperken in domeinen die slecht vertegenwoordigd zijn in WordNet. Ze merken ook op dat hoewel de empirische validatie robuust is over meerdere settings, er geen dedicated menselijke studie is uitgevoerd waarin Granuscores direct worden vergeleken met expliciete menselijke granulariteitsoordelen.