Continuous Interpretive Steering for Scalar Diversity

1. El Problema

La inferencia pragmática en el lenguaje humano es inherentemente gradada. Un ejemplo claro es la implicatura escalar, donde términos débiles (ej. "algunos") a menudo implican la negación de alternativas más fuertes (ej. "no todos"). Sin embargo, la fuerza de esta implicatura varía según el ítem léxico específico, un fenómeno conocido como diversidad escalar (algunos ítems invitan fuertemente a la implicatura, mientras que otros lo hacen débilmente).

Las evaluaciones actuales de Grandes Modelos de Lenguaje (LLMs) sobre comportamiento pragmático presentan dos limitaciones principales:

1. Dependencia de Prompts: La mayoría de los estudios dependen de manipulaciones en el prompt (instrucciones, ejemplos) para inducir interpretaciones pragmáticas. Estos métodos son efímeros, frágiles y pueden reflejar sensibilidad a la forma superficial en lugar de representaciones internas estables.
2. Tratamiento Binario/Uniforme: Las evaluaciones suelen tratar la inferencia pragmática como un objetivo uniforme (éxito o fracaso binario), ignorando la variabilidad a nivel de ítem. Si se empuja a un modelo hacia una interpretación pragmática de manera uniforme, se corre el riesgo de colapsar la diversidad escalar, generando interpretaciones enriquecidas incluso en casos donde los humanos solo mostrarían implicaturas débiles.

2. Metodología

El estudio propone un enfoque que interviene directamente en las activaciones internas del modelo durante la inferencia, en lugar de modificar los pesos del modelo o depender de prompts.

A. Nuevo Dataset: GraSD

Se construyó un nuevo dataset llamado GraSD (Graded Scalar Diversity) para codificar la diversidad escalar graduada.

• Composición: Integra 121 pares de ítems <débil, fuerte> de cuatro estudios previos (van Tiel et al., 2016; Ronai y Xiang, 2021, 2024; Pankratz y Van Tiel, 2021).
• Estructura: Para cada par, se generan tres variantes de oraciones:
  1. Ancla: Contiene el término escalar débil.
  2. Lógica: Reemplaza el término débil por el fuerte (proposición semánticamente más fuerte).
  3. Pragmática: Codifica la implicatura (generalmente la negación de la alternativa fuerte).
• Escala: Se generaron 121,000 instancias contextualizadas utilizando GPT-4o bajo restricciones teóricas para mantener la validez pragmática.

B. Dirección Interpretativa Continua (CIS)

Se introduce el método Continuous Interpretive Steering (CIS).

• Mecanismo: Se define un vector de intervención ($v$) en el espacio de activación, calculado como la diferencia entre las representaciones de las variantes pragmáticas y lógicas.
• Variable Experimental: A diferencia de trabajos previos que usan vectores fijos para optimizar tareas, CIS trata la fuerza de la dirección ($\alpha$) como una variable experimental continua.
• Procedimiento: Se extraen representaciones de múltiples capas del modelo. La representación de la oración "ancla" se modifica mediante la fórmula $h'(x) = h(x) + \alpha v$, donde $\alpha$ controla la magnitud del desplazamiento hacia la interpretación pragmática.

C. Condiciones Experimentales

Se probaron dos condiciones en cuatro modelos LLM (LLaMA3, Qwen2, Gemma2, OLMo):

1. Dirección Uniforme: Se aplica la misma magnitud de $\alpha$ a todos los ítems, sin importar su naturaleza léxica.
2. Dirección Gradada: Se asignan diferentes magnitudes de $\alpha$ a los ítems basándose en una jerarquía de grados (A-E) que refleja la diversidad escalar conocida (ítems con implicaturas fuertes reciben mayor $\alpha$, los débiles menor).

3. Contribuciones Clave

1. CIS (Continuous Interpretive Steering): Un marco metodológico que utiliza la dirección de activación como una sonda para mapear la geometría de la inferencia pragmática, permitiendo analizar cambios graduales en lugar de resultados binarios.
2. GraSD: Un dataset público y estandarizado que codifica explícitamente la variabilidad graduada de la implicatura escalar, facilitando evaluaciones más matizadas.
3. Evidencia de Representación Gradada: Demostración de que la sensibilidad a la diversidad escalar está codificada en el espacio de representaciones de los LLMs y puede recuperarse sistemáticamente mediante intervención controlada.

4. Resultados

Los experimentos revelaron contrastes significativos entre las dos condiciones de dirección:

• Efecto de la Dirección Uniforme:
  • Aumentó globalmente la proporción de interpretaciones pragmáticas en todos los modelos.
  • Fallo crítico: Colapsó la variabilidad a nivel de ítem. No hubo correlación significativa entre las preferencias de interpretación de la línea base y las obtenidas bajo dirección uniforme. El modelo reaccionó de manera homogénea, ignorando las diferencias léxicas inherentes.
• Efecto de la Dirección Gradada:
  • También aumentó las interpretaciones pragmáticas, pero preservó la estructura interna.
  • Éxito crítico: Se observaron correlaciones de rango de Spearman significativas y moderadas entre la línea base y los resultados bajo dirección gradada.
  • Los cambios en la interpretación fueron diferenciados: los ítems con implicaturas fuertes mostraron desplazamientos mayores que los ítems débiles, alineándose con la jerarquía de grados teórica.
• Análisis Estadístico: Las pruebas de rangos con signo de Wilcoxon confirmaron cambios significativos en ambas condiciones, pero el análisis de correlación y la distribución de los cambios (histogramas) mostraron que solo la dirección gradada mantuvo la organización estructural de la competencia pragmática.

5. Significado e Implicaciones

Este trabajo tiene un impacto fundamental en la evaluación de la inteligencia pragmática en IA:

1. Más allá de la evaluación agregada: Demuestra que un aumento global en el rendimiento pragmático (logrado mediante dirección uniforme) no es suficiente para afirmar que un modelo posee competencia pragmática humana. La verdadera competencia reside en la capacidad de modular la fuerza de la inferencia según el ítem específico.
2. Validación de Representaciones Internas: Confirma que los LLMs codifican la sensibilidad pragmática graduada en su espacio de representación. No es necesario "re-entrenar" el modelo para obtener este comportamiento; basta con intervenir en el espacio latente de manera controlada.
3. Nueva Metodología de Evaluación: CIS ofrece una herramienta general para investigar la organización interna de fenómenos pragmáticos, moviendo el campo desde la manipulación superficial de prompts hacia la ingeniería de representaciones y el análisis mecánico.
4. Limitaciones y Futuro: El estudio se centró en la implicatura escalar. Los autores sugieren que este enfoque podría generalizarse a otros fenómenos pragmáticos graduados, aunque la construcción de vectores de dirección estables sigue siendo un desafío para contextos muy variados.

En resumen, el artículo establece que para que los LLMs exhiban un comportamiento pragmático verdaderamente humano, deben ser capaces de reflejar la diversidad escalar mediante interpretaciones diferenciadas, y que la Dirección Interpretativa Continua es el método óptimo para probar y recuperar esta capacidad latente.