Resumen Técnico: Revisitando la Sistematicidad en la Negación en la Era del Aprendizaje en Contexto

Planteamiento del Problema

A pesar de las capacidades de los Modelos de Lenguaje de Gran Escala (LLMs), la comprensión de la negación sigue siendo un desafío significativo. Si bien los modelos suelen desempeñarse bien en benchmarks específicos, su capacidad para generalizar sistemáticamente —comprendiendo un conjunto ilimitado de expresiones estructuradas a partir de un conjunto finito de primitivas— es cuestionable. Las evaluaciones previas se han centrado principalmente en la sistematicidad conductual (rendimiento en entradas no vistas previamente), fallando a menudo en distinguir entre una comprensión composicional genuina y correlaciones espurias o memorización.

Además, aunque la sistematicidad representacional (la codificación interna de la estructura composicional) es teóricamente crucial para la generalización sistemática, ha sido poco explorada en el contexto del Aprendizaje en Contexto (ICL). La mayor parte del trabajo previo sobre análisis representacional se ha centrado en modelos preentrenados como BERT, dejando la sistematicidad de los LLMs basados en ICL insuficientemente explorada. Este artículo aborda esta brecha analizando tanto la sistematicidad conductual como la representacional respecto a la comprensión de la negación en los LLMs.

Metodología

El estudio emplea un enfoque de doble perspectiva:

1. Análisis de la Sistematicidad Conductual

Los autores evalúan los LLMs bajo un entorno de aprendizaje de pocos disparos (few-shot) para determinar si los modelos pueden reconocer expresiones de negación y sus alcances en oraciones que contienen combinaciones de palabras no vistas en las demostraciones.

• Tareas:
  • Extracción de la Señal de Negación: Identificar la expresión de negación (por ejemplo, "no").
  • Resolución de la Negación: Predecir el alcance de la negación (la parte de la oración afectada por la señal).
  • Línea Base: Predicción de antónimos (utilizada para verificar si se pueden construir vectores de función para tareas más simples).
• Formatos de Salida: Para probar la robustez, la tarea de resolución de la negación se evaluó a través de cuatro formatos distintos:
  • EXTRACT: Devolver la secuencia de tokens dentro del alcance.
  • BRACKET: Envolver el alcance en corchetes.
  • LAST-WORD: Devolver el último token del alcance.
  • NER: Una tarea de etiquetado de secuencias (0 para fuera del alcance, 1 para dentro del alcance).
• Modelos: GPT-J-6B y Qwen3-4B.
• Conjunto de Datos: Un subconjunto del SFU Review Corpus, filtrado para oraciones con señales y alcances de negación, asegurando que los conjuntos de entrenamiento, desarrollo y prueba contengan distintas combinaciones de palabras.

2. Análisis de la Sistematicidad Representacional

Los autores investigan si los mecanismos internos de los LLMs codifican la tarea de comprensión de la negación como una representación vectorial robusta y reutilizable.

• Vectores de Función: Vectores densos extraídos de las activaciones ocultas del modelo (específicamente de un subconjunto de cabezas de atención identificadas mediante análisis de mediación causal) que resumen el mapeo de entrada-salida demostrado por los ejemplos en contexto.
• Vectores de Tarea: Vectores extraídos directamente de las activaciones del flujo residual de una posición de token designada como representativa de la tarea.
• Intervención: Estos vectores se inyectan en el modelo durante la inferencia (entornos de cero disparos o zero-shot) para ver si pueden inducir el comportamiento de la tarea objetivo sin demostraciones explícitas.
• Evaluación: El estudio mide la precisión top-1 en cero disparos lograda cuando estos vectores se aplican a los modelos, enfocándose específicamente en ejemplos de prueba donde los modelos funcionaron correctamente en un entorno de 10 disparos (para aislar el efecto del vector de la capacidad general del modelo).

Resultados Clave

Sistematicidad Conductual

• Extracción de la Señal de Negación: Ambos modelos lograron una precisión comparable a la tarea de predicción de antónimos (aprox. 62–64%), lo que sugiere que pueden aprender parcialmente a identificar señales de negación a partir de demostraciones. Sin embargo, el rendimiento no fue perfecto, lo que indica una falta de capacidad sistemática completa.
• Resolución de la Negación: El rendimiento varió significativamente según el formato de salida. Los modelos tuvieron dificultades notables con el formato NER (0% de precisión para ambos modelos en el entorno de 10 disparos) y el formato LAST-WORD. El formato EXTRACT produjo mejores resultados (hasta 76% para Qwen3-4B), pero en general, los modelos no lograron un rendimiento perfecto en todos los formatos, lo que sugiere dificultad para generalizar el concepto de "alcance" a través de diferentes estructuras de salida.

Sistematicidad Representacional

• Extracción de la Señal de Negación: Los vectores de función (aplicados en capas medias) y los vectores de tarea (aplicados en capas tardías) indujeron con éxito el rendimiento de la tarea en entornos de cero disparos, logrando una alta precisión (90% para GPT-J-6B, 80% para Qwen3-4B). Esto indica que la tarea de identificar señales de negación puede codificarse robustamente como un vector de función.
• Resolución de la Negación: En contraste, los vectores de función y de tarea tuvieron un efecto significativamente más débil en las tareas de resolución de la negación (0–50% de precisión). Aunque hubo un ligero efecto de dirección para los formatos EXTRACT y LAST-WORD en GPT-J-6B, los vectores generalmente no lograron inducir la tarea de manera robusta.
• Comparación de Vectores: Los vectores de tarea parecieron más efectivos que los vectores de función para las tareas de resolución de la negación, particularmente en las capas posteriores.

Significado y Reivindicaciones

El artículo sostiene que, si bien los LLMs pueden aprender a reconocer señales de negación mediante el aprendizaje en contexto, luchan por lograr una sistematicidad conductual perfecta, particularmente cuando el formato de salida cambia. Más críticamente, el análisis representacional revela una divergencia en cómo estas tareas se codifican internamente:

1. Extracción de la Señal vs. Reconocimiento del Alcance: Los modelos pueden formar vectores de función robustos para extraer señales de negación, de manera similar a tareas más simples como la predicción de antónimos. Sin embargo, construir vectores de función para reconocer el alcance de la negación es significativamente más difícil.
2. Limitaciones de ICL: La dificultad para formar vectores robustos para el reconocimiento del alcance sugiere que los LLMs podrían no poseer las representaciones internas estructuradas necesarias para la inferencia sistemática respecto al alcance de la negación, incluso cuando pueden producir salidas correctas en contextos específicos de pocos disparos.
3. Contribución Metodológica: El estudio destaca la necesidad de ir más allá de los benchmarks conductuales hacia análisis representacionales (usando vectores de función/tarea) para evaluar verdaderamente si los LLMs han adquirido los principios subyacentes de la generalización sistemática.

Los autores concluyen que, aunque los LLMs muestran cierta capacidad de comportamiento sistemático en tareas de negación, la incapacidad de construir robustamente vectores de función para el reconocimiento del alcance apunta a una limitación fundamental en su sistematicidad representacional para este fenómeno lingüístico específico.