Technische Samenvatting: DySem

Probleemstelling

Het berekenen van Semantische Tekstuele Similariteit (STS) is een fundamentele taak in natuurlijke taalverwerking en vormt de basis voor toepassingen zoals semantische zoekopdrachten, clustering en informatieretrieval. Huidige methoden die gebruikmaken van Large Language Models (LLMs) vertrouwen doorgaans op het extraheren van verborgen toestanden van de laatste laag met vaste, hoogdimensionale vectoren om de gelijkenis tussen tekstparen te berekenen. De auteurs stellen dat dit paradigma lijdt aan twee primaire beperkingen:

1. Suboptimale Representatie: De laatste verborgen laag van LLMs is geoptimaliseerd voor voorspelling van de volgende token en codeert gegeneraliseerde informatie die kernsemantiek verwart met bredere, niet-gerelateerde kennis. Bijgevolg is het mogelijk niet het meest effectieve component voor pure semantische similariteitsberekening.
2. Redundantie en Ruis: De dimensies van de verborgen toestanden van LLMs zijn vaak zeer groot (bijvoorbeeld 4096+), wat aanzienlijke redundantie en ruis introduceert. Het gebruik van de volledige dimensionaliteit voor similariteitsberekening leidt tot onnodige rekenkundige overhead, en eerdere studies suggereren dat semantische integriteit behouden blijft zelfs na dimensiereductie.

Bestaande benaderingen mappen over het algemeen alle teksten in één vector af met dezelfde vaste verborgen toestanden van de laatste laag en volledige dimensies, waardoor ze niet inspelen op de interne dynamische structuur van het model of de specifieke semantische behoeften van individuele tekstparen.

Methodologie: DySem

De auteurs stellen DySem voor, een nieuw, trainingsvrij raamwerk dat weg beweegt van statische, vastgedimensioneerde representaties naar dynamische, steekproefspecifieke semantische dimensies. De methode werkt in drie fasen:

1. Extraheren van Semantische Componenten via Meertalig Consensus

Om de kernsemantische betekenis van een tekst $x$ te identificeren terwijl taalspecifieke oppervlakte-artefacten worden gefilterd, hanteert DySem een meertalige consensusstrategie:

• Vertaling: De invoer tekst wordt vertaald naar een vooraf gedefinieerde set van $m$ doeltalen.
• Prompting: Elke taalversie wordt verwerkt door de LLM met specifieke prompt-sjablonen (ofwel een standaard Engelse prompt of een taalspecifieke prompt) om interne toestandsvectoren te extraheren.
• Componentselectie: In plaats van de definitieve verborgen toestand ($h^L_n$) te gebruiken, evalueert de methode interne componenten, specifiek de cumulatieve attentie-uitkomsten ($A^L_n$) en cumulatieve FFN-uitkomsten ($F^L_n$).
• Consensusidentificatie: Een dimensie wordt beschouwd als onderdeel van de "semantische componentenset" als deze consistent geactiveerd wordt (positieve waarde) over alle taalversies heen. De auteurs definiëren de consensusindexset $I(x)$ op basis van deze co-activatie.
• Dimensierangschikking: Binnen de geco-actieve set worden dimensies gerangschikt op basis van hun gemiddelde activatie over talen, en de top-$k$ dimensies worden geselecteerd om de semantische componentenset $S(x)$ te vormen.

2. Construeren van de Gezamenlijke Semantische Set

Voor een gegeven tekstpaar $(x, y)$ construeert DySem een paarspecifieke gezamenlijke semantische set $U(x, y)$ door de unie te nemen van de individuele semantische componentensets:
$$U(x, y) = S(x) \cup S(y)$$
Deze dynamische uitlijning zorgt ervoor dat de vergelijking dimensies vastlegt die relevant zijn voor een van de teksten, waardoor irrelevante achtergrondruis effectief wordt gefilterd en de focus ligt op gedeelde semantische concepten.

3. Berekenen van Similariteit over Flexibele Dimensies

Similariteit wordt berekend met behulp van een beperkte cosinus-similariteit over de gezamenlijke semantische set $U(x, y)$. De vectoren worden geprojecteerd op deze gedeelde dimensionale subset, en de similariteit wordt berekend als:
$$\text{sim}(x, y) = \cos(v_U(x), v_U(y))$$
Cruciaal is dat de dimensionaliteit van de vectoren die voor de berekening worden gebruikt, flexibel is en wordt bepaald door het specifieke invoerpaar, in plaats van een vaste vooraf gedefinieerde grootte.

Belangrijkste Bijdragen

• Dynamische Semantische Extractie: Het artikel introduceert een methode om dynamische, steekproefspecifieke semantische componenten binnen LLMs bloot te leggen, verdergaand dan de statische verborgen toestanden van de laatste laag.
• Meertalig Consensus: Het maakt gebruik van de intuïtie dat de kernsemantische betekenis invariant blijft over vertalingen heen om semantische dimensies te isoleren van taalspecifieke ruis.
• Flexibele Dimensionaliteit: Het raamwerk demonstreert dat hoogwaardige STS kan worden bereikt met aanzienlijk minder dimensies (vaak rond de 1.000 of minder) in vergelijking met de volledige grootte van de verborgen toestand, zonder modeltraining.
• Interne Componentanalyse: Het werk evalueert systematisch interne componenten en komt tot de bevinding dat cumulatieve attentie-uitkomsten ($A^L_n$) vaak superieure semantische representaties bieden in vergelijking met standaard verborgen toestanden of FFN-uitkomsten.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd over zeven standaard STS-benchmarks (STS12–STS16, STS-B, SICK-R) met gebruik van tien verschillende LLMs (waaronder de LLaMA2/3.1, Qwen2.5/3 en Phi3 families, zowel basis- als instructie-gefine-tuned).

• Prestaties: DySem presteerde consequent beter dan recente baselines, waaronder PromptEOL, AlignedWVA en diverse contrastieve prompting-methoden. Bijvoorbeeld, op het Qwen3-8B-model behaalde DySem een gemiddelde score van 80,54, wat AlignedWVA met 5,75 punten en PromptEOL met 11,63 punten overtrof.
• Efficiëntie: Ondanks het gebruik van aanzienlijk lagere dimensies (gemiddeld tussen 658 en 1240 dimensies, afhankelijk van het model en de promptstrategie), behaalde DySem superieure of concurrerende resultaten in vergelijking met methoden die volledige 4096-dimensionale vectoren gebruiken.
• Validiteit van Componenten: Ablatiestudies bevestigden dat de geselecteerde semantische componenten significant beter presteren dan willekeurige dimensiekeuzes. Bovendien werden cumulatieve attentie-uitkomsten geïdentificeerd als de meest betrouwbare interne representatie voor STS-taken.
• Promptgevoeligheid: De methode toonde robuustheid over verschillende promptstrategieën (Engels versus Taalspecifiek) en vectorconstruktiemethoden (Bron versus Gemiddelde), waarbij de combinatie van taalspecifieke prompts en gemiddelde vectoren vaak de beste resultaten opleverde.

Betekenis en Claims

Het artikel claimt dat DySem een nieuwe richting biedt voor het representeren van teksten en het evalueren van relaties met LLMs door direct interne modelmodules te ontginnen. De betekenis hiervan ligt in:

1. Trainingsvrije Efficiëntie: Het biedt een trainingsvrije aanpak om semantische similariteit te verbeteren, waardoor het toepasbaar is op elke vooraf getrainde LLM zonder fine-tuning.
2. Dimensiereductie: Het daagt de noodzaak uit om volledig dimensionale verborgen toestanden te gebruiken voor semantische taken, en demonstreert dat een compacte, dynamische subset van dimensies voldoende is en vaak effectiever.
3. Generaliseerbaarheid: Het raamwerk wordt gepresenteerd als een algemene verwerkingsstap die kan worden toegepast voordat similariteitsberekening en tekstretrieval plaatsvinden, wat potentieel de rekenkundige overhead kan verminderen in downstream-toepassingen zoals indexering en retrieval.

De auteurs erkennen beperkingen, met name dat de initiële coderingskosten $O(m)$ inferentie-overhead met zich meebrengen vanwege vereiste vertalingen en onafhankelijke forward passes, wat uitdagingen kan vormen voor toepassingen op massive schaal met koude start in vergelijking met encoders met één passage. Zij betogen echter dat deze kosten geconcentreerd zijn in de offline databasebouwfase, terwijl online queries efficiënt blijven.