💬 NLP

When 2D Tasks Meet 1D Serialization: On Serialization Friction in Structured Tasks

Dit artikel toont aan dat het vertegenwoordigen van gestructureerde 2D-taken als 1D-tokenreeksen "serialisatiewrijving" introduceert die de prestaties belemmert, terwijl het behoud van de native 2D-indeling via een visie-augmentatiepad de nauwkeurigheid aanzienlijk verbetert en ruimtelijk gestructureerde fouten vermindert bij taken zoals matrixtranspositie, Conway's Game of Life en LU-decompositie.

Oorspronkelijke auteurs: Chung-Hsiang Lo, Lu Li, Diji Yang, Tianyu Zhang, Yunkai Zhang, Yoshua Bengio, Yi Zhang

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chung-Hsiang Lo, Lu Li, Diji Yang, Tianyu Zhang, Yunkai Zhang, Yoshua Bengio, Yi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme student te leren hoe een puzzel op te lossen. De puzzel is een raster van getallen, zoals een spreadsheet of een schaakbord.

Dit artikel stelt een simpele vraag: Maakt het uit hoe je de puzzel aan de student laat zien?

De Twee Manieren om de Puzzel te Tonen

De "Lijst"-methode (1D-serialisatie): Je neemt het raster en plakt het plat tot één lange, enkele lijn tekst, net als het lezen van een boek. Je moet komma's en haakjes gebruiken om de student te vertellen waar één rij eindigt en de volgende begint.
- Analogie: Stel je voor dat je probeert iemand een kaart uit te leggen door hen een lijst van straatnamen en afslagen voor te lezen in één zin: "Ga noordwaarts, sla rechtsaf bij de bakker, ga twee blokken, sla linksaf..." Het is accuraat, maar je verliest het grote plaatje van hoe de straten met elkaar verbonden zijn.
De "Afbeelding"-methode (2D-indeling): Je laat de student het daadwerkelijke raster zien, met rijen en kolommen duidelijk zichtbaar, net als een echte spreadsheet of een spelbord.
- Analogie: Je geeft hen de daadwerkelijke kaart. Ze kunnen direct zien dat de bakker direct naast het park ligt. De ruimtelijke relaties staan daar recht voor hun neus.

Het Probleem: "Serialisatiefrictie"

De auteurs noemen de moeilijkheid van de "Lijst"-methode "Serialisatiefrictie".

Wanneer je een 2D-raster platplakt tot een 1D-lijst, dwing je het brein van de student tot extra werk. Ze moeten onthouden: "Oké, ik ben bij het 5e getal, wat betekent dat ik in de tweede rij zit," of "Dit getal staat naast dat ene in de lijst, maar ze zijn eigenlijk ver uit elkaar in het raster."

Het artikel betoogt dat deze extra mentale gymnastiek een "frictie" creëert die de taak moeilijker maakt, zelfs als de student zeer slim is.

De Experimenten: Drie Puzzels

Om dit te testen, gaven de onderzoekers de student drie verschillende soorten rasterpuzzels:

Matrix-transpositie (De Flip): Stel je een raster van getallen voor. De taak is om het over de diagonaal te draaien (rijen omzetten in kolommen).
- Resultaat: Wanneer het als afbeelding werd getoond, kreeg de student het bijna elke keer goed, zelfs voor enorme rasteren. Wanneer het als lijst werd getoond, begon de student fouten te maken naarmate het raster groter werd, en uiteindelijk kreeg hij bijna alles verkeerd.
Conway's Game of Life (Het Buurman-spel): Stel je een raster van levende en dode cellen voor. De regel is: een cel leeft of sterft op basis van zijn directe buren.
- Resultaat: Ook hier was de "Afbeelding"-student perfect. De "Lijst"-student had moeite om bij te houden welke getallen buren waren, en hun nauwkeurigheid nam af naarmate het bord groter werd.
LU-decompositie (De Wiskundeketen): Dit is een complex wiskundeprobleem waarbij je een raster moet ontleden in twee kleinere rasteren via een reeks stappen. Elke stap hangt af van de vorige.
- Resultaat: De "Afbeelding"-student kon de logische keten veel beter volgen. De "Lijst"-student raakte halverwege het proces de weg kwijt, vooral wanneer het raster groot was of wanneer ze verschillende maten rasteren moesten combineren.

Het "Aha!"-moment

De onderzoekers deden ook een speciale test om zeker te weten dat het niet alleen ging om "afbeeldingen versus woorden". Ze namen de "Lijst"-methode en maakten er een afbeelding van, maar ze verwarren de indeling zodat het leek op een rommelige brij van tekst op een pagina.

Het Resultaat: De student deed het zelfs slechter met de "verwarde afbeelding" dan met de "schone lijst".
De Les: Het gaat niet alleen om het feit dat afbeeldingen "cool" zijn. Het gaat erom dat het behoud van de natuurlijke vorm van de data (het behouden van de uitlijning van rijen en kolommen) het brein helpt het probleem op te lossen. Wanneer je die vorm breekt, moet het brein harder werken om de structuur in zijn hoofd te herbouwen.

Wat Ze Vonden

De Kloof Groeit: Het verschil tussen de "Afbeelding"-student en de "Lijst"-student wordt groter naarmate de puzzels groter worden.
De Fouten Hebben een Patroon: Wanneer de "Lijst"-student faalde, maakte hij niet zomaar willekeurige fouten. Hij neigde tot fouten op specifieke plekken (zoals de rechteronderhoek van het raster), wat suggereert dat hij het spoor van de ruimtelijke indeling kwijtraakte naarmate de lijst langer werd.

De Conclusie

Het artikel concludeert dat voor taken waarbij de vorm van de data deel uitmaakt van de oplossing (zoals rasteren, kaarten of tabellen), het dwingen van die data in een lange, platte lijst onnodige frictie creëert. Het houden van de data in zijn natuurlijke 2D-indeling zorgt ervoor dat het model veel beter en betrouwbaarder presteert.

Kortom: Als je wilt dat iemand een rasterpuzzel oplost, laat ze dan een raster zien. Laat ze niet een lange lijst instructies lezen om uit te zoeken waar de stukjes moeten komen.

1. Probleemstelling

Grote Taalmodellen (LLMs) verwerken invoer traditioneel als 1D-tokenreeksen. Hoewel dit effectief is voor natuurlijke taalproza, introduceert deze linearisatie "serialisatiefrictie" wanneer het wordt toegepast op taken met expliciete 2D-structurele afhankelijkheden (bijvoorbeeld rij-kolomuitlijning, interacties in lokale omgevingen).

Het Kernprobleem: Wanneer 2D-gegevens (zoals matrices of roosters) worden afgevlakt tot een 1D-reeks, moet het model ruimtelijke relaties (bijvoorbeeld welk element "boven" of "rechts" van een ander staat) uitsluitend afleiden uit tokenvolgorde en scheidingstekens.
Hypothese: Het paper stelt dat deze representatieve last, en niet alleen de computationele complexiteit van de taak, de prestaties van het model verslechtert. Het behoud van de native 2D-indeling zou deze frictie moeten verlichten.

2. Methodologie

De auteurs hebben een gecontroleerde diagnostische testomgeving opgezet om twee invoerpaden te vergelijken met behulp van dezelfde onderliggende taalbackbone (GLM-4-9B):

A. Experimentele Opzet

Alleen-tekstpad (1D): Invoer wordt gesequenced tot tekstreeksen (bijvoorbeeld [[1, 2], [3, 4]]). Het model is GLM-4-9B-0414.
Visueel-verrijkt pad (2D): Dezelfde onderliggende gegevens worden weergegeven als afbeeldingen die de native 2D-indeling behouden. Het model is Glyph (een visueel-tekstcompressiemethode die GLM verbindt met een visuele encoder).
Gecontroleerde Variabelen: Beide paden gebruiken identieke taakdefinities, prompts, trainings-/testverdelingen en evaluatiecriteria. De enige variabele is de invoervoorstelling.

B. Taakset

Drie synthetische taken werden geselecteerd, elk afhankelijk van verschillende aspecten van de 2D-structuur:

Matrixtranspositie: Test rij-kolomcorrespondentie. De transformatie is een directe herschikking gebaseerd op ruimtelijke uitlijning.
Conway's Game of Life: Test interactie in lokale omgeving. De volgende toestand van een cel hangt af van zijn 8 omringende buren in een rooster.
LU-decompositie: Test meerstaps algoritmisch redeneren. De taak vereist het behoud van rij-kolomrelaties over een reeks afhankelijke eliminatiestappen heen om een matrix te factoriseren.

C. Trainingsparadigma's

Matrixtranspositie & Game of Life: Supervised Fine-Tuning (SFT) met LoRA.
LU-decompositie: Reinforcement Learning met Verifiable Reward (RLVR), aangezien de taak een reeks stappen omvat waarbij tussentijdse correctheid moeilijk te definiëren is, maar de uiteindelijke factorisatie verifieerbaar is.

D. Aanvullende Probes

Within-Visual Probe: Een "disruptive-Glyph"-conditie werd getest waarbij de 2D-indeling opzettelijk werd verward (tekst presenteren als afbeelding maar zonder structurele uitlijning) om het effect van de indeling te isoleren van de modality zelf.
Foutanalyse: Warmtekaarten werden gegenereerd om de ruimtelijke verdeling van fouten te visualiseren.

3. Belangrijkste Bijdragen

Conceptueel Kader: Introductie van de term "Serialisatiefrictie" om de representatieve last te beschrijven die ontstaat bij het afvlakken van 2D-structuren naar 1D-reeksen.
Diagnostische Testomgeving: Creëren van een rigoureus vergelijkingskader met behulp van drie verschillende 2D-taken om de impact van invoerindeling op redeneren te isoleren.
Empirisch Bewijs: Aangetoond dat het behoud van taakrelevante 2D-indeling consistent beter presteert dan 1D-serialisatie, met name naarmate de taakdimensies toenemen.
Foutkarakterisering: Aangetoond dat fouten in 1D-serialisatie geen willekeurige ruis zijn, maar ruimtelijk gestructureerd zijn, vaak geconcentreerd in specifieke gebieden (bijvoorbeeld rechtsonder in matrices) naarmate de probleemgrootte toeneemt.

4. Belangrijkste Resultaten

A. Prestatiekloof

Over alle drie de taken heen presteerde het 2D-visuele pad (Glyph) consistent beter dan het 1D-tekstpad (GLM).

Matrixtranspositie:
- Bij $12 \times 12$ was de 1D-nauwkeurigheid ~92,7%, dalend naar 0,8% bij $20 \times 20$ .
- Het 2D-pad bleef zelfs bij $20 \times 20$ boven de 90%.
- Bij gemengde-grootte training (generalisatie) vergrootte de kloof aanzienlijk; 1D-serialisatie faalde om te generaliseren naar ongezette maten, terwijl 2D een hoge nauwkeurigheid behield.
Conway's Game of Life:
- De 2D-indeling behield een bijna perfecte nauwkeurigheid (>99,7%) over roostergroottes heen ( $4\times4$ tot $8\times8$ ).
- De nauwkeurigheid van 1D-serialisatie daalde gestaag van 86,5% ( $4\times4$ ) naar 46,6% ( $8\times8$ ).
LU-decompositie:
- In gemengde-trainingsomgevingen zweefde de nauwkeurigheid van 1D-serialisatie rond de 0%, terwijl de 2D-indeling aanzienlijke nauwkeurigheid behield (bijvoorbeeld 69,2% bij $5\times5$ ).
- Dit suggereert dat 2D-indeling cruciaal is voor het behoud van staatconsistentie over meervoudige, afhankelijke bewerkingen heen.

B. Foutpatronen

Ruimtelijke Structurering: Fouten in het 1D-pad waren niet uniform.
- Bij Matrixtranspositie concentreerden fouten zich in het rechtsonder van de matrix naarmate de dimensies toeneemden, wat suggereert dat het model de langeafstands rij-kolomafhankelijkheden uit het oog verliest.
- Bij LU-decompositie clusterden fouten in latere rijen/kolommen, wat wijst op een falen om de keten van eliminatiestappen te behouden.
Visuele Probe: De "disruptive-Glyph" (verwarde 2D-indeling) presteerde slechter dan de gestructureerde 2D-indeling, maar beter dan pure tekst, wat bevestigt dat de structurele uitlijning zelf, en niet alleen de visuele modality, de prestatiewinst drijft.

5. Betekenis en Implicaties

Voorbij Alleen-Tekst Paradigma's: De studie daagt de aanname uit dat 1D-tokenisatie voldoende is voor alle redeneertaken. Het suggereert dat voor taken met een inherente ruimtelijke structuur, indeling een inductieve bias is die redeneren ondersteunt.
Multimodale Nuttigheid: Hoewel recent werk suggereert dat multimodale modellen soms moeite hebben met gevisualiseerde tekst, toont dit paper aan dat voor gestructureerde gegevens het weergeven van de gegevens in hun native 2D-vorm superieur is aan tekstserialisatie.
Toekomstige Richtingen: De bevindingen suggereren dat het behoud van taakrelevante 2D-indelingen een veelbelovende richting is voor het verbeteren van LLM's op gestructureerde taken (bijvoorbeeld tabellen, grafieken, code, wetenschappelijke diagrammen). Het impliceert dat toekomstige architecturen of trainingsstrategieën structurele isomorfie moeten overwegen (het laten overeenkomen van invoervoorstelling met de structuur van het probleemdomein) in plaats van alle gegevens te forceren in een lineaire reeks.

Concluderend biedt het paper sterk bewijs dat serialisatiefrictie een significante bottleneck is voor LLM's op 2D-gestructureerde taken en dat het benutten van visueel-verrijkte paden om native 2D-indelingen te behouden, de redeneercapaciteiten en generalisatie drastisch kan verbeteren.