Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Resumen Técnico: Medición de Palabras de Intensidad Vaga en Acciones Numéricas de LLM

Enunciado del Problema
A medida que los modelos de lenguaje (LLM) se integran cada vez más en agentes y sistemas de control en lenguaje natural, deben traducir instrucciones humanas vagas (por ejemplo, "aumentar ligeramente", "reducir drásticamente") en acciones numéricas precisas con consecuencias posteriores. Si bien investigaciones anteriores han establecido que los humanos preservan las clasificaciones ordinales en expresiones vagas y que los LLM pueden ser sensibles a la redacción, existe una brecha en la comprensión de cómo los modelos mapean estos modificadores de intensidad a salidas numéricas concretas en un entorno controlado. Específicamente, sigue sin medirse adecuadamente si los modelos preservan la estructura ordinal hipotética de las palabras de intensidad cuando se les obliga a seleccionar un único valor numérico, cómo el contexto (estado del sistema) influye en este mapeo y cómo se comportan los modelos cerca de los límites de viabilidad operativa.

Metodología
El estudio emplea un entorno sintético y restringido de asignación de recursos para aislar la traducción de lenguaje a acción.

• Configuración Experimental: El modelo (Claude Haiku) recibe instrucciones en lenguaje natural para aumentar una asignación de tareas utilizando una de 10 palabras de intensidad específicas. Un backend determinista convierte la llamada a herramienta numérica del modelo en un resultado medible.
• Escala de Palabras: Se seleccionaron diez modificadores de grado en inglés para abarcar seis niveles hipotéticos basados en la taxonomía de Quirk et al. (1985), que van desde atenuadores débiles (ligeramente, marginalmente) hasta maximizadores (drásticamente, dramáticamente).
• Condiciones:
  1. Sin Contexto: Las instrucciones carecen del estado actual del sistema (por ejemplo, "gastar [PALABRA] más tiempo").
  2. Condicionadas por Contexto: Las instrucciones incluyen la asignación inicial (por ejemplo, "La asignación actual es X%. Me gustaría [PALABRA] aumentar"). Se probaron diez valores base (del 0% al 89%), incluyendo números redondos y valores irregulares.
  3. Controles: Las indicaciones con números exactos validaron el entorno de pruebas.
• Parámetros: Los experimentos se ejecutaron con temperaturas $T=0.0$ y $T=0.7$, con 30 ejecuciones por celda (totalizando 6.620 ejecuciones).
• Análisis: El estudio utiliza estadísticas no paramétricas, incluyendo el $\rho$ de Spearman para la correlación ordinal y pruebas de Kruskal-Wallis con tamaños del efecto ($\varepsilon^2$) para determinar si la elección de la palabra o la asignación inicial explican más varianza en la salida.

Resultados Clave
Tres patrones principales surgieron en los experimentos:

1. Compresión de la Intensidad: En la condición sin contexto, el modelo comprime 10 palabras de intensidad distintas en solo 5 salidas medianas distintas. Las cuatro palabras de nivel más bajo (ligeramente, marginalmente, algo, levemente) todas se mapean a una asignación mediana de 0.50 con varianza cero. Las palabras más fuertes se dividen en regímenes superiores (0.60–0.70). Aunque existe una fuerte correlación ordinal ($\rho = 0.845$), las distinciones léxicas finas colapsan.
2. Dominio del Estado: Cuando se proporciona contexto, la asignación inicial domina la elección de la palabra. Agrupar por línea base explica aproximadamente 10 veces más varianza basada en rangos que agrupar por palabra ($\varepsilon^2_{base} = 0.782$ frente a $\varepsilon^2_{palabra} = 0.079$). A medida que el sistema se acerca a la capacidad, la diferenciación entre palabras colapsa a cero; con una línea base del 75%, las 10 palabras producen la misma salida mediana.
3. Comportamiento Discontinuo en los Límites: Cerca de los límites de viabilidad (asignación inicial del 89%), el modelo exhibe tres modos de comportamiento distintos dependiendo de la palabra utilizada:
   • Resguardo: Las palabras débiles realizan ajustes pequeños.
   • Abstención: Las palabras fuertes (por ejemplo, considerablemente, sustancialmente) a menudo se niegan a actuar por completo, citando restricciones.
   • Empuje: La palabra drásticamente se comporta de manera única, empujando la asignación hacia el techo local (0.912) en lugar de abstenerse.
     Estos patrones persisten a través de las temperaturas; aumentar $T$ a 0.7 amplía las distribuciones pero no restaura las distinciones ordinales granulares.

Contribuciones Clave

1. Metodología: Un instrumento controlado para medir cómo los LLM mapean palabras de intensidad vagas a acciones numéricas, separando la traducción de lenguaje a acción del ruido del sistema posterior.
2. Evidencia de Compresión: Documentación de que los modelos preservan regímenes de intensidad gruesos pero colapsan distinciones léxicas finas en salidas numéricas idénticas.
3. Dependencia del Contexto: Evidencia cuantitativa de que el estado actual del sistema domina la elección de la palabra en entornos condicionados por contexto, socavando la fiabilidad de las instrucciones vagas como señales de control invariantes al contexto.
4. Descubrimiento de Límites: Identificación de la abstención dependiente de la palabra y el cambio de modo categórico (resguardo, actuar, abstenerse) cerca de los límites operativos, revelando discontinuidades en las políticas de acción que no son visibles solo desde el lenguaje.

Significado y Afirmaciones
El artículo postula que no debe asumirse que las instrucciones vagas se mapean a acciones escalares estables en interfaces mediadas por LLM. Los hallazgos sugieren que el vocabulario operativo del modelo es más grueso de lo que implica el lenguaje superficial y que el significado de una palabra de intensidad es una función conjunta de la palabra y el estado del sistema, no un valor fijo.

El estudio enmarca estos hallazgos como un problema específico de alineación: si una interfaz mediada por un modelo preserva la semántica pretendida por el operador. Los resultados indican un resultado mixto: si bien se capturan regímenes amplios de intensidad, se pierden distinciones finas y el comportamiento se vuelve discontinuo cerca de los límites. El autor nota explícitamente que el estudio no afirma que el modelo sea "peor" que los humanos, ya que la interpretación humana de estas palabras también puede ser ambigua; más bien, el estudio documenta los patrones de comportamiento específicos del modelo probado en este dominio. El artículo concluye que estos patrones son específicos del modelo y dominio probados, con trabajos futuros planeados para incluir líneas base humanas, comparaciones entre modelos y rejillas experimentales más densas.