💬 NLP

When 2D Tasks Meet 1D Serialization: On Serialization Friction in Structured Tasks

Ce papier démontre que la représentation de tâches structurées en 2D sous forme de séquences de tokens en 1D introduit une « friction de sérialisation » qui nuit aux performances, tandis que la préservation de la mise en page native en 2D grâce à une voie augmentée par la vision améliore considérablement la précision et réduit les erreurs structurées spatialement dans des tâches telles que la transposition de matrice, le jeu de la vie de Conway et la décomposition LU.

Auteurs originaux : Chung-Hsiang Lo, Lu Li, Diji Yang, Tianyu Zhang, Yunkai Zhang, Yoshua Bengio, Yi Zhang

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chung-Hsiang Lo, Lu Li, Diji Yang, Tianyu Zhang, Yunkai Zhang, Yoshua Bengio, Yi Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très intelligent comment résoudre un puzzle. Le puzzle est une grille de nombres, comme un tableur ou un échiquier.

Ce document pose une question simple : Est-ce que cela importe comment vous présentez le puzzle à l'étudiant ?

Les Deux Manières de Présenter le Puzzle

La Méthode « Liste » (Sérialisation 1D) : Vous prenez la grille et la transformez en une longue ligne unique de texte, comme la lecture d'un livre. Vous devez utiliser des virgules et des crochets pour indiquer à l'étudiant où une ligne se termine et où la suivante commence.
- Analogie : Imaginez essayer d'expliquer une carte à quelqu'un en lui lisant une liste de noms de rues et de virages dans une seule phrase : « Allez vers le nord, tournez à droite à la boulangerie, avancez de deux pâtés de maisons, tournez à gauche... ». C'est précis, mais vous perdez la vue d'ensemble de la façon dont les rues sont connectées.
La Méthode « Image » (Disposition 2D) : Vous montrez à l'étudiant la grille réelle, avec les lignes et les colonnes clairement visibles, tout comme un vrai tableur ou un plateau de jeu.
- Analogie : Vous lui tendez la carte réelle. Il peut instantanément voir que la boulangerie est juste à côté du parc. Les relations spatiales sont là, directement devant lui.

Le Problème : « Frottement de Sérialisation »

Les auteurs appellent la difficulté de la méthode « Liste » le « Frottement de Sérialisation ».

Lorsque vous aplatissez une grille 2D en une liste 1D, vous forcez le cerveau de l'étudiant à effectuer un travail supplémentaire. Il doit se souvenir : « D'accord, je suis au 5ᵉ nombre, ce qui signifie que je suis dans la deuxième ligne », ou « Ce nombre est à côté de celui-ci dans la liste, mais ils sont en fait très éloignés dans la grille ».

L'article soutient que cet exercice mental supplémentaire crée un « frottement » qui rend la tâche plus difficile, même si l'étudiant est très intelligent.

Les Expériences : Trois Puzzles

Pour tester cela, les chercheurs ont donné à l'étudiant trois types différents de puzzles de grille :

Transposition de Matrice (Le Retournement) : Imaginez une grille de nombres. La tâche consiste à la retourner par rapport à sa diagonale (transformant les lignes en colonnes).
- Résultat : Lorsqu'elle était présentée sous forme d'image, l'étudiant avait raison presque à chaque fois, même pour des grilles énormes. Lorsqu'elle était présentée sous forme de liste, l'étudiant a commencé à faire des erreurs à mesure que la grille grossissait, finissant par se tromquer presque partout.
Le Jeu de la Vie de Conway (Le Jeu des Voisins) : Imaginez une grille de cellules vivantes et mortes. La règle est : une cellule vit ou meurt en fonction de ses voisins immédiats.
- Résultat : Là encore, l'étudiant « Image » était parfait. L'étudiant « Liste » avait du mal à suivre quels nombres étaient voisins, et leur précision diminuait à mesure que le plateau grossissait.
Décomposition LU (La Chaîne Mathématique) : Il s'agit d'un problème mathématique complexe où vous devez décomposer une grille en deux grilles plus petites à travers une série d'étapes. Chaque étape dépend de la précédente.
- Résultat : L'étudiant « Image » pouvait suivre la chaîne de logique beaucoup mieux. L'étudiant « Liste » se perdait au milieu du processus, surtout lorsque la grille était grande ou lorsqu'ils devaient mélanger différentes tailles de grilles.

Le Moment « Aha ! »

Les chercheurs ont également réalisé un test spécial pour s'assurer qu'il ne s'agissait pas simplement de « images contre mots ». Ils ont pris la méthode « Liste » et l'ont transformée en image, mais ils ont brouillé la disposition de sorte qu'elle ressemble à un désordre de texte sur une page.

Le Résultat : L'étudiant s'en est encore moins bien sorti avec l'« image brouillée » qu'avec la « liste propre ».
La Leçon : Ce n'est pas seulement que les images sont « cool ». C'est que préserver la forme naturelle des données (en gardant les lignes et les colonnes alignées) aide le cerveau à résoudre le problème. Lorsque vous brisez cette forme, le cerveau doit travailler plus dur pour reconstruire la structure dans sa tête.

Ce Qu'ils Ont Découvert

L'Écart Grandit : La différence entre l'étudiant « Image » et l'étudiant « Liste » s'agrandit à mesure que les puzzles deviennent plus grands.
Les Erreurs Ont un Motif : Lorsque l'étudiant « Liste » échouait, il ne faisait pas simplement des erreurs aléatoires. Il avait tendance à faire des erreurs à des endroits spécifiques (comme le coin inférieur droit de la grille), suggérant qu'il perdait le fil de la disposition spatiale à mesure que la liste s'allongeait.

La Conclusion

L'article conclut que pour les tâches où la forme des données fait partie de la solution (comme les grilles, les cartes ou les tableaux), forcer ces données dans une longue liste plate crée un frottement inutile. Garder les données dans leur disposition 2D naturelle permet au modèle de performer beaucoup mieux et plus de manière fiable.

En bref : Si vous voulez que quelqu'un résolve un puzzle de grille, montrez-lui une grille. Ne le forcez pas à lire une longue liste d'instructions pour comprendre où vont les pièces.

1. Énoncé du problème

Les grands modèles de langage (LLM) traitent traditionnellement les entrées comme des séquences de tokens 1D. Bien que cela soit efficace pour la prose en langage naturel, cette linéarisation introduit une "friction de sérialisation" lorsqu'elle est appliquée à des tâches comportant des dépendances structurelles 2D explicites (par exemple, l'alignement ligne-colonne, les interactions de voisinage local).

Le problème central : Lorsque des données 2D (comme des matrices ou des grilles) sont aplaties en une chaîne 1D, le modèle doit inférer les relations spatiales (par exemple, quel élément est "au-dessus" ou "à droite" d'un autre) uniquement à partir de l'ordre des tokens et des délimiteurs.
Hypothèse : L'article postule que ce fardeau représentationnel, plutôt que la complexité computationnelle de la tâche elle-même, dégrade les performances du modèle. Préserver la mise en page 2D native devrait atténuer cette friction.

2. Méthodologie

Les auteurs ont construit un banc d'essai diagnostique contrôlé pour comparer deux voies d'entrée utilisant le même socle linguistique sous-jacent (GLM-4-9B) :

A. Configuration expérimentale

Voie uniquement textuelle (1D) : Les entrées sont sérialisées en chaînes de texte (par exemple, [[1, 2], [3, 4]]). Le modèle est GLM-4-9B-0414.
Voie augmentée par la vision (2D) : Les mêmes données sous-jacentes sont rendues sous forme d'images préservant la mise en page 2D native. Le modèle est Glyph (une méthode de compression visuo-textuelle reliant GLM à un encodeur visuel).
Variables contrôlées : Les deux voies utilisent des définitions de tâches identiques, des invites, des splits d'entraînement/test et des critères d'évaluation. La seule variable est la représentation d'entrée.

B. Suite de tâches

Trois tâches synthétiques ont été sélectionnées, chacune reposant sur différents aspects de la structure 2D :

Transposition de matrice : Teste la correspondance ligne-colonne. La transformation est un réarrangement direct basé sur l'alignement spatial.
Jeu de la vie de Conway : Teste l'interaction de voisinage local. L'état suivant d'une cellule dépend de ses 8 voisins environnants dans une grille.
Décomposition LU : Teste le raisonnement algorithmique multi-étapes. La tâche nécessite de maintenir les relations ligne-colonne à travers une séquence d'étapes d'élimination dépendantes pour factoriser une matrice.

C. Paradigmes d'entraînement

Transposition de matrice et Jeu de la vie : Affinement supervisé (SFT) avec LoRA.
Décomposition LU : Apprentissage par renforcement avec récompense vérifiable (RLVR), car la tâche implique une séquence d'étapes où la justesse intermédiaire est difficile à définir, mais où la factorisation finale est vérifiable.

D. Sondes supplémentaires

Sonde visuelle interne : Une condition "disruptive-Glyph" a été testée où la mise en page 2D a été intentionnellement mélangée (présentant du texte sous forme d'image mais sans alignement structurel) pour isoler l'effet de la mise en page de la modalité elle-même.
Analyse des erreurs : Des cartes thermiques ont été générées pour visualiser la distribution spatiale des erreurs.

3. Contributions clés

Cadre conceptuel : Introduction du terme "friction de sérialisation" pour décrire le fardeau représentationnel encouru lors de l'aplatissement des structures 2D en séquences 1D.
Banc d'essai diagnostique : Création d'un cadre de comparaison rigoureux utilisant trois tâches 2D distinctes pour isoler l'impact de la mise en page d'entrée sur le raisonnement.
Preuves empiriques : Démonstration que la préservation de la mise en page 2D pertinente pour la tâche surpasse systématiquement la sérialisation 1D, en particulier à mesure que les dimensions de la tâche augmentent.
Caractérisation des erreurs : Mise en évidence que les erreurs dans la sérialisation 1D ne sont pas un bruit aléatoire mais sont structurées spatialement, se concentrant souvent dans des régions spécifiques (par exemple, les coins inférieurs droits des matrices) à mesure que la taille du problème augmente.

4. Résultats clés

A. Écart de performance

Pour les trois tâches, la voie visuelle 2D (Glyph) a systématiquement surpassé la voie textuelle 1D (GLM).

Transposition de matrice :
- À $12 \times 12$ , la précision 1D était d'environ 92,7 %, chutant à 0,8 % à $20 \times 20$ .
- La voie 2D est restée au-dessus de 90 % même à $20 \times 20$ .
- Dans un entraînement de tailles mixtes (généralisation), l'écart s'est considérablement creusé ; la sérialisation 1D n'a pas réussi à généraliser à des tailles non vues, tandis que la 2D a maintenu une haute précision.
Jeu de la vie de Conway :
- La mise en page 2D a maintenu une précision quasi parfaite (>99,7 %) sur toutes les tailles de grille ( $4\times4$ à $8\times8$ ).
- La précision de la sérialisation 1D a diminué régulièrement, passant de 86,5 % ( $4\times4$ ) à 46,6 % ( $8\times8$ ).
Décomposition LU :
- Dans des configurations d'entraînement mixte, la précision de la sérialisation 1D oscillait près de 0 %, tandis que la mise en page 2D maintenait une précision substantielle (par exemple, 69,2 % à $5\times5$ ).
- Cela suggère que la mise en page 2D est cruciale pour maintenir la cohérence de l'état à travers des opérations dépendantes multi-étapes.

B. Modèles d'erreurs

Structuration spatiale : Les erreurs dans la voie 1D n'étaient pas uniformes.
- Dans la transposition de matrice, les erreurs se concentraient dans le coin inférieur droit de la matrice à mesure que les dimensions augmentaient, suggérant que le modèle perdait le fil des dépendances ligne-colonne à longue portée.
- Dans la décomposition LU, les erreurs se regroupaient dans les lignes/colonnes ultérieures, indiquant un échec à maintenir la chaîne des étapes d'élimination.
Sonde visuelle : Le "disruptive-Glyph" (mise en page 2D mélangée) a obtenu de moins bons résultats que la mise en page 2D structurée mais de meilleurs résultats que le texte pur, confirmant que c'est l'alignement structurel lui-même, et non seulement la modalité visuelle, qui génère le gain de performance.

5. Signification et implications

Au-delà des paradigmes uniquement textuels : L'étude remet en question l'hypothèse selon laquelle la tokenisation 1D suffit pour toutes les tâches de raisonnement. Elle suggère que pour les tâches ayant une structure spatiale inhérente, la mise en page est un biais inductif qui aide au raisonnement.
Utilité multimodale : Bien que des travaux récents suggèrent que les modèles multimodaux ont parfois du mal avec le texte visualisé, cet article montre que pour les données structurées, rendre les données sous leur forme 2D native est supérieur à la sérialisation textuelle.
Voies futures : Les résultats suggèrent que la préservation des mises en page 2D pertinentes pour la tâche est une direction prometteuse pour améliorer les LLM sur des tâches structurées (par exemple, tableaux, graphes, code, diagrammes scientifiques). Cela implique que les architectures ou stratégies d'entraînement futures devraient considérer l'isomorphisme structurel (faire correspondre la représentation d'entrée à la structure du domaine du problème) plutôt que de forcer toutes les données dans une séquence linéaire.

En conclusion, l'article fournit des preuves solides que la friction de sérialisation est un goulot d'étranglement significatif pour les LLM sur des tâches structurées 2D et que l'exploitation de voies augmentées par la vision pour préserver les mises en page 2D natives peut considérablement améliorer les capacités de raisonnement et la généralisation.