On the Proper Treatment of Units in Surprisal Theory

Aquí se presenta un resumen técnico detallado del artículo "Sobre el tratamiento adecuado de las unidades en la teoría de la sorpresa".

1. Planteamiento del Problema

La teoría de la sorpresa postula que el esfuerzo de procesamiento cognitivo humano está determinado por el logaritmo negativo de la probabilidad (sorpresa) de una unidad lingüística futura dado su contexto. Sin embargo, existe una brecha metodológica crítica en la investigación empírica actual:

• La Incongruencia: Los estímulos experimentales se segmentan típicamente en unidades motivadas lingüísticamente (por ejemplo, palabras, morfemas), pero los modelos de lenguaje (LM) preentrenados modernos operan sobre alfabetos de tokens fijos (por ejemplo, Codificación de Pares de Bytes) que no se alinean con estas unidades lingüísticas.
• La Consecuencia: Los investigadores dependen actualmente de heurísticas ad hoc y post-hoc para mapear los tokens del modelo a unidades lingüísticas. Estos procedimientos a menudo confunden dos elecciones de modelado distintas:
  1. Inventario de Unidades ($U$): La definición de la unidad lingüística (por ejemplo, palabra, carácter, frase).
  2. Regiones de Interés (ROI): Los tramos específicos sobre los cuales se evalúan las predicciones (por ejemplo, agregar sorpresas a nivel de palabra en métricas a nivel de oración).
• El Defecto en los Enfoques Existentes: Los intentos recientes de formalizar este mapeo (por ejemplo, Oh & Schuler, 2024; Pimentel & Meister, 2024) asumen que los límites de las unidades pueden determinarse mediante una partición fija del alfabeto de símbolos (por ejemplo, el espacio en blanco siempre marca un límite). Los autores argumentan que esto es lingüísticamente inadecuado (por ejemplo, una coma es un límite en "fin, él" pero interna en "1.000") y matemáticamente inconsistente al tratar con tokenización dependiente del contexto.

2. Metodología

Los autores proponen un marco formal unificado para desentrañar las definiciones de unidades de la tokenización, tratando la tokenización como un detalle de implementación y no como un primitivo científico.

A. Marco Formal

• Separación de Preocupaciones: El artículo distingue entre el Alfabeto de Símbolos ($\Sigma$) (los tokens/caracteres nativos del LM) y el Inventario de Unidades ($U$) (las unidades lingüísticas elegidas por el investigador).
• Analizador de Unidades ($\rho$): Un mapa estocástico $\rho: \Sigma^* \to U^*$ que convierte cadenas de símbolos en cadenas de unidades. Los autores asumen que $\rho$ es determinista para fines prácticos.
• Probabilidad de Empuje (Pushforward): Para derivar una distribución de probabilidad sobre unidades ($p_U$) a partir de un modelo a nivel de símbolos ($p_\Sigma$), utilizan la operación de empuje:
  $$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$$
  Esto suma las probabilidades de todas las cadenas de símbolos que se mapean a una unidad específica $u$.

B. Modelos de Lenguaje Transducidos

Para manejar el desafío computacional de sumar sobre cadenas de símbolos potencialmente infinitas, los autores introducen Transductores de Estado Finito (FST):

• Inventarios de Unidades Regulares: Asumen que $U$ es un subconjunto "regular" de cadenas sobre un alfabeto finito $\Xi$.
• El Transductor ($f$): Un transductor finito $f = h \circ \rho$ mapea cadenas de símbolos $\Sigma^*$ a cadenas sobre un alfabeto finito $\Delta = \Xi \cup \{SEP\}$, donde $SEP$ es un símbolo separador.
• Algoritmo: Al componer el LM con el transductor, pueden calcular la distribución de empuje de manera eficiente utilizando aproximaciones de búsqueda en haz (Snæbjarnarson et al., 2026). Esto permite el cálculo de la sorpresa para inventarios de unidades arbitrarios sin reentrenar el LM.

C. Diseño Experimental

• Conjunto de Datos: El Corpus Multilingüe de Movimientos Oculares (MECO), específicamente la parte en inglés (46 lectores, 12 extractos de Wikipedia).
• Inventarios de Unidades Probados:
  1. Tokens: Tokens nativos de GPT-2.
  2. Caracteres: Caracteres individuales.
  3. Palabras Acontextuales: Palabras divididas por delimitadores fijos (espacio en blanco), probando tanto la atribución de espacio en blanco inicial como final.
  4. Palabras Contextuales: Palabras divididas usando reglas del Penn Treebank (PTB) (por ejemplo, manejando puntuación como "1.000" frente a "fin, él").
• Análisis:
  • Línea Base: Modelos Mixtos Aditivos Generalizados Log-normales (GAMMs) que predicen tiempos de lectura usando longitud de unidad, sorpresa de unigrama y efectos de desbordamiento.
  • Objetivo: La línea base más sorpresa contextual.
  • Métrica: Mejora en la verosimilitud logarítmica retenida ($\Delta llh$) mediante validación cruzada de un elemento fuera (leave-one-out).

3. Contribuciones Clave

1. Desentrañamiento Teórico: El artículo separa formalmente la elección de unidades de la elección de tokenización, argumentando que la selección de unidades debe ser una decisión de modelado primaria impulsada por la pregunta científica, no un subproducto de la arquitectura del LM.
2. Formalismo Generalizado: Proporcionan un marco de "trae tus propias unidades" utilizando transductores, permitiendo a los investigadores definir inventarios de unidades arbitrarios y sensibles al contexto (por ejemplo, tokenización estilo PTB) y calcular la sorpresa directamente a partir de LMs preentrenados.
3. Crítica a las Heurísticas Actuales: Demuestran que los enfoques de partición fija (tratar el espacio en blanco como un marcador de límite universal) fallan en capturar la realidad lingüística (por ejemplo, la unión de puntuación) e introducen inconsistencias matemáticas con respecto a la identidad de la unidad.
4. Kit de Herramientas Práctico: Los autores liberan código y transductores para convertir modelos a nivel de tokens en modelos a nivel de caracteres o a nivel de palabras conscientes del contexto.

4. Resultados

Los autores evaluaron el poder predictivo de la sorpresa a través de los cuatro inventarios de unidades en tres medidas de tiempo de lectura: Primera Fijación (FF), Duración de la Mirada (GD) y Tiempo Total de Lectura (TRT).

• Inventarios Tipo Palabra: La sorpresa mejoró significativamente la predicción de los tiempos de lectura para la Duración de la Mirada y el Tiempo Total de Lectura en todos los inventarios tipo palabra (Tokens, Acontextuales, Contextuales).
• Primera Fijación: La sorpresa fue significativa para Tokens, Palabras Contextuales y Acontextuales (final), pero no para Acontextuales (inicial). Esto sugiere que la atribución de espacio en blanco inicial (común en BPE) puede no alinearse con el procesamiento cognitivo temprano.
• Nivel de Caracteres: La sorpresa a nivel de caracteres no mostró mejora significativa en la predicción de los tiempos de lectura. Los autores atribuyen esto al hecho de que los caracteres individuales rara vez se fijan individualmente; la unidad cognitiva de procesamiento es mayor que un solo carácter.
• Contextual vs. Acontextual: Los inventarios de palabras contextuales (manejando la puntuación correctamente) generalmente funcionaron tan bien o ligeramente mejor que los acontextuales, particularmente para casos de puntuación compleja, validando la necesidad de segmentación sensible al contexto.
• No Comparabilidad de Puntuaciones Absolutas: El estudio destaca que las verosimilitudes logarítmicas absolutas y los valores de $\Delta llh$ no pueden compararse directamente entre diferentes inventarios de unidades porque los inventarios inducen diferentes granularidades de observación y predictores de línea base (por ejemplo, longitud de unidad).

5. Significado

• Rigor Metodológico: El artículo establece que tratar la tokenización como una restricción fija limita la validez de las conclusiones psicolingüísticas. Los investigadores deben definir explícitamente su inventario de unidades.
• Reproducibilidad y Flexibilidad: Al proporcionar un marco basado en transductores, los autores permiten a la comunidad probar hipótesis sobre unidades lingüísticas específicas (morfemas, frases, unidades de discurso) sin el costo prohibitivo de reentrenar LMs desde cero.
• Adecuación Lingüística: Los resultados apoyan la visión de que la segmentación sensible al contexto (como PTB) es superior a la división simple basada en delimitadores para modelar el comportamiento de lectura humana, particularmente con respecto a la puntuación.
• Futuras Direcciones: El marco es extensible a otras variables dependientes (señales neuronales, sorpresa de contexto con pérdida) y a otros idiomas, siempre que se puedan construir transductores apropiados.

En resumen, el artículo argumenta que la tokenización es un detalle de implementación, mientras que la selección de unidades es una elección científica. Al desacoplar ambos mediante transductores, los investigadores pueden asegurar que sus métricas de sorpresa reflejen con precisión las unidades lingüísticas que pretenden estudiar.