Technische Samenvatting: Right Reset: Chunking door Prefixverwijdering

Probleemstelling

Conventionele methoden voor tekstchunking en segmentatie vertrouwen zwaar op oppervlakkige structurele aanwijzingen (paragrafen, zinnen, lay-out) of lokale semantische verschuivingen. Deze benaderingen schieten vaak tekort wanneer tekst is "platgeslagen"—een scenario waarbij scheidingstekens, lay-out en duidelijke onderwerpverschuivingen zijn verwijderd, zoals bij het samenvoegen van topisch gelijkaardige records voor retrieval-augmented generation (RAG) of datacuratie. In dergelijke platgeslagen contexten verdwijnen standaardkenmerken, terwijl de onderscheidende contextuele eenheden vaak nog wel aanwezig zijn. Het artikel stelt dat, hoewel de oppervlaktestructuur zwak kan zijn, de contextuele afhankelijkheid van een causaal taalmodel (CLM) van zijn prefix nog steeds een robuust signaal kan bieden voor het identificeren van grenzen.

Methodologie: Right Reset (RR)

De kern van de voorgestelde methode is Right Reset (RR), een prefix-verwijderings-probingtechniek die meet hoeveel de verwerking van een rechterhandse tokensequentie verandert wanneer de linkerhandse context wordt verwijderd.

De Interventie

Voor een kandidaat-rand $b$ in een getokeniseerde sequentie $x_{1:n}$:

1. Volledige Context: Het model verwerkt de sequentie $x_{1:n}$ en genereert verborgen toestanden (hidden states) $h^{(\ell)}_j$ voor een rechterhandse window $W$ beginnend bij $b+1$.
2. Reset Context: De prefix $x_{1:b}$ wordt verwijderd. Het model verwerkt opnieuw dezelfde rechterhandse tokens ($x_{b+1:b+W}$) alsof ze het begin van een nieuwe sequentie vormen, waarbij reset verborgen toestanden $\tilde{h}^{(\ell,b)}_q$ worden gegenereerd.
3. Uitlijning: Om een eerlijke vergelijking te garanderen, worden positie-ID's behouden (of equivalent herindexeren) zodat de identiteit en uitlijning van de tokens vast blijven staan.

Scoringmechanismen

Het artikel stelt drie afleesmethoden voor voor deze interventie:

1. RR Score (Primair): De gemiddelde cosinusgelijkenis tussen de verborgen toestanden met volledige context en de reset verborgen toestanden over de window, waarbij de eerste $s$ posities worden overgeslagen om directe initialiseringseffecten te vermijden.
   $$R^{(\ell)}(b) = \frac{1}{m_b - s} \sum_{q=s}^{m_b-1} \frac{h^{(\ell)}_{b+1+q} \cdot \tilde{h}^{(\ell,b)}_q}{\|h^{(\ell)}_{b+1+q}\|_2 \|\tilde{h}^{(\ell,b)}_q\|_2}$$
   Een hoge score geeft aan dat het rechterhandse traject behouden blijft ondanks het verwijderen van de linkerhandse context, wat wijst op een natuurlijke grens.
2. Observed-Token Likelihood Ratio: Meet de verandering in de waarschijnlijkheid die wordt toegewezen aan de daadwerkelijk geobserveerde tokens in de reset-context versus de volledige context.
3. KL Divergentie: Meet de volledige distributionele verandering in de voorspelling van de volgende token ($D_{KL}(p_{full} \| p_{reset})$), primair gebruikt als een mechanisme-referentie.

Segmentatie

RR genereert randscores onafhankelijk. Deze scores worden omgezet naar percentielrangen binnen het document en gevoed aan een dynamisch programmeringsalgoritme om een globaal haalbare set van sneden te selecteren. Het algoritme kan optimaliseren voor een vast aantal chunks of een gekalibreerde snedepenaliteit gebruiken om een variabel aantal chunks af te leiden.

Belangrijkste Bijdragen

1. Prefix-verwijderings-probing: De introductie van RR, die de lokale contextafhankelijkheid transformeert in een chunking-signaal door de preservatie van verborgen toestanden te meten na prefixverwijdering.
2. Herstel van Platgeslagen Records: Demonstratie dat RR 47,7% van de oorspronkelijke bronrecords herstelt uit platgeslagen tekst (waarbij scheiders zijn verwijderd en records zijn samengevoegd), wat de sterkst geteste conventionele baseline (BGE embedding boundaries met 25,9%) en een instructiemodel van gelijke schaal (3,1%) significant overtreft.
3. Mechanisme Validatie: Bewijs dat de interventie zelf het signaal levert. Passieve scores van dezelfde model-laag en directe prompting presteren aanzienlijk slechter. Bovendien vertonen door RR geselecteerde sneden consistent lagere lokale output-disruptie (gemeten via KL-divergentie) over zes verschillende taalmodel-architecturen (Qwen, Gemma, GPT-2, Pythia) vergeleken met niet-geselecteerde randen.

Experimentele Resultaten

• Benchmark: 60 uit de testset gehouden stromen geconstrueerd uit 276 unieke records (FiQA, NFCorpus, SciFact), samengevoegd met enkele spaties.
• Robuustheid: De prestatiewinst blijft bestaan nadat de tekst is gerenderd en door lokale Apple Vision OCR (180-DPI) is verwerkt, wat aangeeft dat de methode robuust is tegen lay-outverlies.
• Vergelijkingen:
  • RR vs. BGE: RR bereikt een herstelpercentage van 47,7% voor zuivere eenheden tegenover 25,9% voor BGE (95% BI: [0,125, 0,311] voordeel).
  • RR vs. Prompting: Een directe prompt aan een instructie-getunede Qwen3-4B model behaalde slechts 3,1% herstel, wat benadrukt dat het signaal niet toegankelijk is via standaard prompting zonder de specifieke interventie.
  • Passieve Controles: Passieve sprongen in verborgen toestanden en aandacht-isolatie van dezelfde model-laag herstelden slechts ~19% van de zuivere eenheden.
  • Scope Controle: Op de Wiki-50 dataset (waar zin- en onderwerpkenmerken intact zijn) waren RR en BGE statistisch ononderscheidbaar en bleven beide achter bij gesuperviseerde baselines, wat bevestigt dat RR specifief voordelig is wanneer conventionele kenmerken zwak zijn.

Betekenis en Claims

Het artikel beweert dat contextafhankelijkheid op zichzelf een grens-signaal kan bieden wanneer de oppervlaktestructuur zwak is. De centrale bevinding is dat causale taalmodellen grensinformatie bevatten in de manier waarop hun rechterhandse verwerking verandert wanneer eerdere context wordt verwijderd.

De auteur benadrukt dat:

• Interventie is Cruciaal: De winst komt voort uit de actieve verwijdering van de prefix, niet louter uit het toegankelijk maken van de representaties van het model.
• Architectuuronafhankelijkheid: Het fenomeen houdt stand over diverse modelfamilies en groottes, hoewel de optimale aflezing (verborgen-toestand cosinus vs. likelihood ratio) varieert per architectuur.
• Beperkingen: RR is computationeel duurder dan one-pass chunkers (vereist een reset-window evaluatie per kandidaat-rand) en is momenteel beperkt tot Engelse records in de geteste domeinen. De methode meet lokale, checkpoint-specifieke afhankelijkheid en is niet invariant voor herparameterisering van de representatie.

Concluderend biedt Right Reset een principieel, model-gebaseerd algoritme voor tekstsegmentatie dat uitblinkt in "platte" datasituaties waar traditionele heuristieken falen, door gebruik te maken van de inherente contextgevoeligheid van causale taalmodellen om structurele grenzen te herstellen.