Do BERT Embeddings Encode Narrative Dimensions? A Token-Level Probing Analysis of Time, Space, Causality, and Character in Fiction

Título: ¿Codifican las Representaciones de BERT Dimensiones Narrativas? Un Análisis de Sonda a Nivel de Token sobre Tiempo, Espacio, Causalidad y Personaje en la Ficción

1. Planteamiento del Problema

La comprensión narrativa requiere estructuras semánticas multidimensionales que permitan a los lectores rastrear personajes, secuencias temporales, relaciones espaciales y conexiones causales. Aunque los Modelos de Lenguaje Grandes (LLM) como BERT han demostrado un rendimiento sofisticado en tareas lingüísticas, persiste una pregunta crítica: ¿desarrollan estos modelos representaciones internas que capturen la estructura narrativa a nivel de discurso?

La investigación previa en interpretabilidad de modelos se ha centrado principalmente en propiedades sintácticas o semánticas a nivel de oración. Sin embargo, las dimensiones narrativas (personaje, tiempo, espacio y causalidad) operan en un nivel de abstracción superior, organizando información a través de múltiples oraciones y textos completos. Este estudio busca determinar si las representaciones contextuales de BERT codifican estas distinciones categóricas fundamentales, incluso a nivel de token individual.

2. Metodología

• Datos y Anotación:

  • Se utilizó el texto de los primeros cinco capítulos de Orgullo y Prejuicio de Jane Austen (5,088 tokens anotados).
  • Se empleó un enfoque híbrido: un LLM (ChatGPT) aceleró la anotación inicial guiada por un libro de códigos iterativo, seguido de una verificación y corrección manual exhaustiva por humanos.
  • Categorías: Las etiquetas asignadas a nivel de token fueron: Personaje (agentes), Tiempo (temporalidad), Espacio (escenario), Causalidad (relaciones lógicas entre eventos) y Otros.
  • Desbalance de Clases: El dataset presenta un desbalance severo: "Otros" (70.1%), "Personaje" (23.1%), "Tiempo" (3.5%), "Espacio" (2.7%) y "Causalidad" (0.5%).

• Extracción de Representaciones:

  • Se utilizaron las representaciones de la capa final del modelo bert-base-uncased.
  • Se alinearon las anotaciones de tokens con las subpalabras de BERT (WordPiece) promediando los vectores de las subpalabras correspondientes para obtener un único vector de 768 dimensiones por token anotado.

• Probing (Sondeo) Lineal:

  • Se entrenó un clasificador lineal (Regresión Logística) sobre las representaciones congeladas de BERT para predecir las etiquetas narrativas.
  • Manejo del Desbalance: Se aplicó un esquema de ponderación de clases (class_weight='balanced') para penalizar más los errores en las clases minoritarias (especialmente "Causalidad" y "Espacio").
  • Control: Se implementó una "sonda de control" entrenada con embeddings aleatorios (con la misma dimensión y varianza que los reales pero sin información lingüística) para descartar que el rendimiento se deba a patrones espurios o memorización.

• Análisis Adicional:

  • Reducción de dimensionalidad (PCA, UMAP, Isomap) y clustering (K-Means) para visualizar la estructura del espacio latente.
  • Análisis de la distribución de etiquetas gramaticales (POS) y longitud de los tokens.

3. Contribuciones Clave

1. Evidencia de Codificación Narrativa: Se demuestra que BERT codifica información narrativa significativa, superando significativamente a un control aleatorio (94% vs 47% de precisión).
2. Análisis de "Fuga de Límites" (Boundary Leakage): Se identifica un patrón sistemático donde las dimensiones raras (tiempo, espacio, causalidad) no se confunden entre sí, sino que se clasifican erróneamente como la clase mayoritaria "Otros" cuando las señales contextuales son débiles.
3. Carácter No Discreto de las Dimensiones: El análisis de clustering revela que las dimensiones narrativas no forman clusters separables en el espacio de embeddings de BERT (ARI = 0.081), sugiriendo que están codificadas de manera fluida y superpuesta, no como categorías discretas.
4. Metodología de Anotación Asistida por LLM: Validación de un flujo de trabajo híbrido (LLM + humano) para la creación de datasets de anotación fina a nivel de token en textos literarios.

4. Resultados

• Rendimiento del Clasificador:
  • Precisión General: 94% en la sonda real vs. 47% en la sonda de control.
  • Clases Mayoritarias: "Personaje" y "Otros" alcanzaron un F1 > 0.96.
  • Clases Minoritarias: Con ponderación de clases balanceada, se logró un recall macro-promedio de 0.83.
    • Tiempo: Recall 0.80, F1 0.77.
    • Causalidad: Recall 0.75, F1 0.60 (a pesar de solo 17 ejemplos de entrenamiento).
    • Espacio: Recall 0.66, F1 0.59.
• Análisis de Confusión: La matriz de confusión confirma la "Fuga de Límites": el 19% de los tokens de tiempo, 29% de espacio y 25% de causalidad se clasificaron incorrectamente como "Otros".
• Estructura del Espacio Latente:
  • La reducción dimensional (UMAP) muestra que los tokens de "Personaje" se dispersan hacia la periferia, mientras que otras dimensiones se agrupan cerca del centro.
  • El clustering no supervisado falla en separar las categorías narrativas, indicando que las fronteras semánticas en BERT son anisotrópicas y complejas.
• Correlación Sintáctica: Se observó una fuerte correlación entre las etiquetas POS y las dimensiones narrativas (ej. pronombres para Personaje, preposiciones para Espacio), lo que plantea la necesidad de futuras líneas de trabajo para desentrañar si BERT aprende la semántica narrativa o simplemente explota patrones sintácticos superficiales.

5. Significado e Implicaciones

Este estudio es fundamental para la narratología computacional, ya que extiende el análisis de la interpretabilidad de modelos más allá de la sintaxis y la semántica oracional hacia la estructura del discurso.

• Validación de Representaciones: Confirma que los modelos preentrenados como BERT, entrenados principalmente con objetivos de lenguaje auto-supervisado, internalizan conceptos narrativos abstractos necesarios para la comprensión de historias.
• Limitaciones de la Granularidad: Destaca los desafíos de aplicar análisis a nivel de token a fenómenos narrativos que a menudo son frásicos o dependen de contextos de largo alcance (ej. la causalidad o el espacio pueden requerir múltiples palabras o oraciones).
• Direcciones Futuras: El trabajo sugiere la necesidad de:
  • Baselines controladas solo de POS para aislar la contribución sintáctica.
  • Análisis por capas (layer-wise probing) para ver en qué profundidad de la red se codifican estas dimensiones.
  • Clasificadores no lineales para capturar la complejidad de las fronteras superpuestas en el espacio de embeddings.
  • Expansión de datasets a textos completos y géneros modernos para capturar arcos narrativos completos.

En resumen, el paper demuestra que BERT posee una "comprensión" incipiente de la estructura narrativa, pero que esta comprensión es fluida, dependiente del contexto y difícil de separar en clusters discretos, lo que refleja la naturaleza compleja y matizada del lenguaje humano.