On the Proper Treatment of Units in Surprisal Theory

1. Formulação do Problema

A teoria do surprisal postula que o esforço de processamento cognitivo humano é determinado pelo log-probabilidade negativa (surprisal) de uma unidade linguística futura dado o seu contexto. No entanto, existe uma lacuna metodológica crítica na pesquisa empírica atual:

• O Descompasso: Os estímulos experimentais são tipicamente segmentados em unidades motivadas linguisticamente (por exemplo, palavras, morfemas), mas os modelos de linguagem (LMs) pré-treinados modernos operam em alfabetos de tokens fixos (por exemplo, Byte-Pair Encoding) que não se alinham com essas unidades linguísticas.
• A Consequência: Os pesquisadores atualmente dependem de heurísticas ad hoc e post-hoc para mapear tokens do modelo para unidades linguísticas. Esses procedimentos frequentemente confundem duas escolhas de modelagem distintas:
  1. Inventário de Unidades ($U$): A definição da unidade linguística (por exemplo, palavra, caractere, frase).
  2. Regiões de Interesse (ROIs): Os intervalos específicos sobre os quais as previsões são avaliadas (por exemplo, agregando surprisais ao nível de palavra em métricas ao nível de frase).
• O Defeito nas Abordagens Existentes: Tentativas recentes de formalizar esse mapeamento (por exemplo, Oh & Schuler, 2024; Pimentel & Meister, 2024) assumem que os limites das unidades podem ser determinados por uma partição fixa do alfabeto de símbolos (por exemplo, o espaço em branco sempre marca um limite). Os autores argumentam que isso é linguisticamente inadequado (por exemplo, uma vírgula é um limite em "fim, ele" mas interna em "1.000") e matematicamente inconsistente ao lidar com tokenização dependente de contexto.

2. Metodologia

Os autores propõem um quadro formal unificado para desvendar as definições de unidades da tokenização, tratando a tokenização como um detalhe de implementação e não como um primitivo científico.

A. Quadro Formal

• Separação de Preocupações: O artigo distingue entre o Alfabeto de Símbolos ($\Sigma$) (os tokens/caracteres nativos do LM) e o Inventário de Unidades ($U$) (as unidades linguísticas escolhidas pelo pesquisador).
• Parser de Unidades ($\rho$): Um mapa estocástico $\rho: \Sigma^* \to U^*$ que converte strings de símbolos em strings de unidades. Os autores assumem que $\rho$ é determinístico para fins práticos.
• Probabilidade de Empurrão (Pushforward): Para derivar uma distribuição de probabilidade sobre unidades ($p_U$) a partir de um modelo ao nível de símbolo ($p_\Sigma$), eles utilizam a operação de empurrão (pushforward):
  $$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$$
  Isso soma as probabilidades de todas as strings de símbolos que mapeiam para uma unidade específica $u$.

B. Modelos de Linguagem Transduzidos

Para lidar com o desafio computacional de somar sobre strings de símbolos potencialmente infinitas, os autores introduzem Transdutores de Estado Finito (FSTs):

• Inventários de Unidades Regulares: Eles assumem que $U$ é um subconjunto "regular" de strings sobre um alfabeto finito $\Xi$.
• O Transdutor ($f$): Um transdutor finito $f = h \circ \rho$ mapeia strings de símbolos $\Sigma^*$ para strings sobre um alfabeto finito $\Delta = \Xi \cup \{SEP\}$, onde $SEP$ é um símbolo separador.
• Algoritmo: Ao compor o LM com o transdutor, eles podem calcular a distribuição de empurrão de forma eficiente usando aproximações de busca em feixe (beam search) (Snæbjarnarson et al., 2026). Isso permite o cálculo do surprisal para inventários de unidades arbitrários sem re-treinar o LM.

C. Desenho Experimental

• Conjunto de Dados: O Multilingual Eye-movement Corpus (MECO), especificamente a parte em inglês (46 leitores, 12 excertos da Wikipedia).
• Inventários de Unidades Testados:
  1. Tokens: Tokens nativos do GPT-2.
  2. Caracteres: Caracteres individuais.
  3. Palavras Acontextuais: Palavras divididas por delimitadores fixos (espaço em branco), testando tanto a atribuição de espaço em branco inicial quanto final.
  4. Palavras Contextuais: Palavras divididas usando regras do Penn Treebank (PTB) (por exemplo, lidando com pontuação como "1.000" vs. "fim, ele").
• Análise:
  • Linha de Base: Modelos Aditivos Mistos Generalizados (GAMMs) log-normais prevendo tempos de leitura usando comprimento da unidade, surprisal de unigrama e efeitos de transbordamento (spillover).
  • Alvo: A linha de base mais surprisal contextual.
  • Métrica: Melhoria na verossimilhança logarítmica (log-likelihood) de retenção ($\Delta llh$) via validação cruzada leave-one-out.

3. Principais Contribuições

1. Desvendamento Teórico: O artigo separa formalmente a escolha de unidades da escolha de tokenização, argumentando que a seleção de unidades deve ser uma decisão de modelagem primária impulsionada pela questão científica, e não um subproduto da arquitetura do LM.
2. Formalismo Generalizado: Eles fornecem um quadro "traga suas próprias unidades" usando transdutores, permitindo que os pesquisadores definam inventários de unidades arbitrários e sensíveis ao contexto (por exemplo, tokenização estilo PTB) e calculem o surprisal diretamente a partir de LMs pré-treinados.
3. Crítica às Heurísticas Atuais: Eles demonstram que abordagens de partição fixa (tratando o espaço em branco como um marcador de limite universal) falham em capturar a realidade linguística (por exemplo, anexação de pontuação) e introduzem inconsistências matemáticas em relação à identidade da unidade.
4. Kit de Ferramentas Prático: Os autores disponibilizam código e transdutores para converter modelos ao nível de token em modelos ao nível de caractere ou ao nível de palavra sensíveis ao contexto.

4. Resultados

Os autores avaliaram o poder preditivo do surprisal através dos quatro inventários de unidades em três medidas de tempo de leitura: Primeira Fixação (FF), Duração do Olhar (GD) e Tempo Total de Leitura (TRT).

• Inventários Semelhantes a Palavras: O surprisal melhorou significativamente a previsão dos tempos de leitura para Duração do Olhar e Tempo Total de Leitura em todos os inventários semelhantes a palavras (Tokens, Acontextuais, Contextuais).
• Primeira Fixação: O surprisal foi significativo para Tokens, Palavras Contextuais e Acontextuais (final), mas não para Acontextuais (inicial). Isso sugere que a atribuição de espaço em branco inicial (comum no BPE) pode não se alinhar com o processamento cognitivo precoce.
• Nível de Caractere: O surprisal ao nível de caractere mostrou nenhuma melhoria significativa na previsão dos tempos de leitura. Os autores atribuem isso ao fato de que caracteres individuais raramente são fixados individualmente; a unidade cognitiva de processamento é maior que um único caractere.
• Contextual vs. Acontextual: Inventários de palavras contextuais (lidando corretamente com pontuação) geralmente performaram tão bem ou ligeiramente melhor que os acontextuais, particularmente para casos de pontuação complexa, validando a necessidade de segmentação sensível ao contexto.
• Não Comparabilidade de Pontuações Absolutas: O estudo destaca que as verossimilhanças logarítmicas absolutas e os valores de $\Delta llh$ não podem ser comparados diretamente entre diferentes inventários de unidades porque os inventários induzem diferentes granularidades de observação e preditores de linha de base (por exemplo, comprimento da unidade).

5. Significado

• Rigor Metodológico: O artigo estabelece que tratar a tokenização como uma restrição fixa limita a validade das conclusões psicolinguísticas. Os pesquisadores devem definir explicitamente seu inventário de unidades.
• Reprodutibilidade e Flexibilidade: Ao fornecer um quadro baseado em transdutores, os autores permitem que a comunidade teste hipóteses sobre unidades linguísticas específicas (morfemas, frases, unidades de discurso) sem o custo proibitivo de re-treinar LMs do zero.
• Adequação Linguística: Os resultados apoiam a visão de que a segmentação sensível ao contexto (como a PTB) é superior à divisão simples baseada em delimitadores para modelar o comportamento de leitura humana, particularmente em relação à pontuação.
• Direções Futuras: O quadro é extensível a outras variáveis dependentes (sinais neurais, surprisal de contexto com perda) e a outros idiomas, desde que transdutores apropriados possam ser construídos.

Em resumo, o artigo argumenta que a tokenização é um detalhe de implementação, enquanto a seleção de unidades é uma escolha científica. Ao desacoplar os dois via transdutores, os pesquisadores podem garantir que suas métricas de surprisal reflitam com precisão as unidades linguísticas que pretendem estudar.