When 2D Tasks Meet 1D Serialization: On Serialization Friction in Structured Tasks

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) tradicionalmente processam entradas como sequências unidimensionais (1D) de tokens. Embora eficazes para prosa em linguagem natural, essa linearização introduz "atrito de serialização" quando aplicada a tarefas com dependências estruturais 2D explícitas (por exemplo, alinhamento de linhas e colunas, interações de vizinhança local).

• A Questão Central: Quando dados 2D (como matrizes ou grades) são achatados em uma string 1D, o modelo deve inferir relações espaciais (por exemplo, qual elemento está "acima" ou "à direita" de outro) exclusivamente a partir da ordem dos tokens e dos delimitadores.
• Hipótese: O artigo postula que esse ônus representacional, e não apenas a complexidade computacional da tarefa, degrada o desempenho do modelo. Preservar o layout nativo 2D deve aliviar esse atrito.

2. Metodologia

Os autores construíram um ambiente de teste diagnóstico controlado para comparar dois caminhos de entrada usando a mesma base linguística subjacente (GLM-4-9B):

A. Configuração Experimental

1. Caminho Apenas Texto (1D): As entradas são serializadas em strings de texto (por exemplo, [[1, 2], [3, 4]]). O modelo é o GLM-4-9B-0414.
2. Caminho Aumentado por Visão (2D): Os mesmos dados subjacentes são renderizados como imagens preservando o layout nativo 2D. O modelo é o Glyph (um método de compressão visual-textual que conecta o GLM a um codificador de visão).
3. Variáveis Controladas: Ambos os caminhos utilizam definições de tarefa idênticas, prompts, divisões de treinamento/teste e critérios de avaliação. A única variável é a representação de entrada.

B. Conjunto de Tarefas

Três tarefas sintéticas foram selecionadas, cada uma dependendo de aspectos diferentes da estrutura 2D:

1. Transposição de Matriz: Testa a correspondência linha-coluna. A transformação é um rearranjo direto baseado no alinhamento espacial.
2. Jogo da Vida de Conway: Testa a interação de vizinhança local. O próximo estado de uma célula depende de seus 8 vizinhos circundantes em uma grade.
3. Decomposição LU: Testa o raciocínio algorítmico multi-etapa. A tarefa exige manter relações linha-coluna através de uma sequência de etapas de eliminação dependentes para fatorizar uma matriz.

C. Paradigmas de Treinamento

• Transposição de Matriz e Jogo da Vida: Ajuste Fino Supervisionado (SFT) com LoRA.
• Decomposição LU: Aprendizado por Reforço com Recompensa Verificável (RLVR), pois a tarefa envolve uma sequência de etapas onde a correção intermediária é difícil de definir, mas a fatorização final é verificável.

D. Sondagens Adicionais

• Sonda Dentro-Visual: Foi testada uma condição de "Glyph disruptivo" onde o layout 2D foi intencionalmente embaralhado (apresentando texto como imagem, mas sem alinhamento estrutural) para isolar o efeito do layout do próprio modo.
• Análise de Erros: Mapas de calor foram gerados para visualizar a distribuição espacial dos erros.

3. Contribuições Principais

1. Estrutura Conceitual: Introdução do termo "Atrito de Serialização" para descrever o ônus representacional incorrido ao achatar estruturas 2D em sequências 1D.
2. Ambiente de Teste Diagnóstico: Criação de um framework de comparação rigoroso usando três tarefas 2D distintas para isolar o impacto do layout de entrada no raciocínio.
3. Evidência Empírica: Demonstração de que preservar o layout 2D relevante para a tarefa supera consistentemente a serialização 1D, particularmente à medida que as dimensões da tarefa aumentam.
4. Caracterização de Erros: Mostrou que os erros na serialização 1D não são ruído aleatório, mas são espacialmente estruturados, concentrando-se frequentemente em regiões específicas (por exemplo, cantos inferiores direitos de matrizes) à medida que o tamanho do problema cresce.

4. Resultados Principais

A. Lacuna de Desempenho

Em todas as três tarefas, o caminho visual 2D (Glyph) superou consistentemente o caminho textual 1D (GLM).

• Transposição de Matriz:
  • Em $12 \times 12$, a precisão 1D foi de ~92,7%, caindo para 0,8% em $20 \times 20$.
  • O caminho 2D permaneceu acima de 90% mesmo em $20 \times 20$.
  • Em treinamento de tamanho misto (generalização), a lacuna aumentou significativamente; a serialização 1D falhou em generalizar para tamanhos não vistos, enquanto o 2D manteve alta precisão.
• Jogo da Vida de Conway:
  • O layout 2D manteve precisão quase perfeita (>99,7%) em todos os tamanhos de grade ($4\times4$ a $8\times8$).
  • A precisão da serialização 1D caiu consistentemente de 86,5% ($4\times4$) para 46,6% ($8\times8$).
• Decomposição LU:
  • Em configurações de treinamento misto, a precisão da serialização 1D oscilou perto de 0%, enquanto o layout 2D manteve precisão substancial (por exemplo, 69,2% em $5\times5$).
  • Isso sugere que o layout 2D é crítico para manter a consistência do estado através de operações multi-etapa dependentes.

B. Padrões de Erro

• Estruturação Espacial: Os erros no caminho 1D não foram uniformes.
  • Na Transposição de Matriz, os erros concentraram-se no inferior direito da matriz à medida que as dimensões aumentavam, sugerindo que o modelo perde o controle das dependências de linha-coluna de longo alcance.
  • Na Decomposição LU, os erros agruparam-se em linhas/colunas posteriores, indicando uma falha em manter a cadeia de etapas de eliminação.
• Sonda Visual: O "Glyph disruptivo" (layout 2D embaralhado) teve desempenho pior que o layout 2D estruturado, mas melhor que o texto puro, confirmando que o próprio alinhamento estrutural, e não apenas o modo visual, impulsiona o ganho de desempenho.

5. Significado e Implicações

• Além dos Paradigmas Apenas Texto: O estudo desafia a suposição de que a tokenização 1D é suficiente para todas as tarefas de raciocínio. Sugere que, para tarefas com estrutura espacial inerente, o layout é um viés indutivo que auxilia o raciocínio.
• Utilidade Multimodal: Embora trabalhos recentes sugiram que modelos multimodais às vezes lutam com texto visualizado, este artigo mostra que, para dados estruturados, renderizar os dados em sua forma nativa 2D é superior à serialização textual.
• Direções Futuras: As descobertas sugerem que preservar layouts 2D relevantes para a tarefa é uma direção promissora para melhorar LLMs em tarefas estruturadas (por exemplo, tabelas, gráficos, código, diagramas científicos). Isso implica que futuras arquiteturas ou estratégias de treinamento devem considerar o isomorfismo estrutural (correspondendo a representação de entrada à estrutura do domínio do problema) em vez de forçar todos os dados em uma sequência linear.

Em conclusão, o artigo fornece fortes evidências de que o atrito de serialização é um gargalo significativo para LLMs em tarefas estruturadas 2D e que alavancar caminhos aumentados por visão para preservar layouts nativos 2D pode melhorar dramaticamente as capacidades de raciocínio e generalização.