Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

Los modelos de lenguaje son los motores detrás de muchas de las herramientas digitales que utilizamos hoy en día, capaces de generar texto, traducir idiomas y responder preguntas con una fluidez sorprendente. Para entender cómo funcionan estos sistemas, los investigadores suelen observar cómo manejan los bloques fundamentales de la comunicación humana, como los adjetivos que describen la intensidad. Palabras como "tibio", "caliente" y "hirviendo" existen en una escala de calor creciente, y los humanos entendemos naturalmente que si algo está hirviendo, también está al menos tibio. Esta conexión lógica se llama implicación. Sin embargo, el lenguaje humano está lleno de giros donde negamos una palabra más débil no para decir que lo opuesto es cierto, sino para decir que la palabra más fuerte es la adecuada. Cuando alguien dice que una sopa está "no tibia sino hirviendo", no está negando que la sopa tenga calor; está rechazando "tibia" como una descripción insuficiente. Este tipo específico de corrección, donde un hablante cambia una descripción débil por una fuerte, es una prueba sutil de si una máquina realmente entiende la relación entre las palabras o si simplemente está reconociendo patrones.

Un equipo de investigadores se propuso ver si los modelos de lenguaje modernos podían navegar este complejo terreno lingüístico. Se centraron en un fenómeno conocido como negación correctiva por exceso, donde una oración niega un adjetivo más débil para afirmar uno más fuerte. El equipo recopiló cientos de pares de adjetivos del inglés, español y francés, tales como "tenue" y "oscuro" o "bueno" y "excelente", que están dispuestos en orden de intensidad. Luego pidieron a cinco modelos de lenguaje diferentes que juzgaran estos pares bajo diversas condiciones. Primero, confirmaron que los modelos conocían el orden de las palabras, reconociendo que "oscuro" es una versión más fuerte de "tenue". A continuación, probaron si los modelos entendían que si algo es "oscuro", debe ser al menos "tenue". Finalmente, presentaron a los modelos las oraciones correctivas, como "No está tenue sino oscuro", y les preguntaron si el objeto seguía siendo al menos "tenue".

Los resultados revelaron una brecha significativa entre lo que los modelos saben y cómo aplican ese conocimiento. En las unidades donde los modelos identificaron correctamente el orden de las palabras y aceptaron la lógica básica de que "oscuro" implica "tenue", tuvieron éxito en la comprensión de la afirmación el 93,4% de las veces. También respondieron correctamente a preguntas de negación simple el 99,2% de las veces, pero esta alta precisión es engañosa: los modelos tendieron generalmente a responder "no" en general (con tasas de "sí" que oscilaban entre el 34% y el 44%), un sesgo que infla artificialmente el rendimiento en preguntas donde la respuesta correcta es "no". Al enfrentarse a la oración correctiva "No está tenue sino oscuro", su rendimiento cayó drásticamente. En el mismo conjunto de ítems donde previamente habían demostrado entender la relación entre las palabras, fallaron en reconocer la corrección en 452 casos, mientras que tuvieron éxito en solo 6. En lugar de entender que la sopa sigue estando tibia (solo que más), los modelos a menudo trataron la oración como una simple negación, concluyendo que el objeto no era tenue en absoluto.

Este fallo no se debió a una falta de conocimiento sobre las palabras en sí. Cuando los investigadores probaron una construcción similar utilizando la misma palabra, como "No está tenue sino muy tenue", los modelos funcionaron con alta precisión, acertando el 94,4% de las veces. Esto sugiere que los modelos pueden manejar la estructura de la oración cuando las palabras son idénticas, pero tropiezan cuando deben conectar dos palabras diferentes dentro de un marco correctivo. El patrón de error fue consistente en los cinco modelos probados y en los tres idiomas. En muchos casos, los modelos respondieron "no" a la pregunta de si el objeto era al menos el término más débil, ignorando efectivamente la segunda mitad de la oración que proporcionaba la corrección. Esto indica que los modelos no están fallando porque no puedan clasificar los adjetivos, sino porque luchan por invalidar el significado literal de la negación cuando se introduce una alternativa más fuerte.

El estudio también exploró si hacer la corrección más explícita ayudaría. En inglés, los investigadores compararon la forma estándar "not X but Y" con una versión que añadía la palabra "rather" (sino que), creando la frase "not X but rather Y". Este pequeño cambio, que señala una corrección de forma más clara, mejoró la precisión de los modelos del 36,1% al 49,3%. Aunque fue una mejora, no fue una solución completa, ya que los modelos seguían perdiendo el sentido en más de la mitad de los casos. Los investigadores señalaron que en español, donde se utiliza una conjunción específica para las correcciones, los modelos funcionaron ligeramente mejor que en inglés o francés, pero la dificultad fundamental persistía. Los datos sugieren que estos sistemas poseen el conocimiento bruto de cómo se relacionan las palabras entre sí, pero a menudo fallan al aplicar ese conocimiento cuando la estructura de la oración requiere que rechacen una descripción más débil en favor de una más fuerte.

Las implicaciones de este hallazgo van más allá de la curiosidad académica. Los modelos de lenguaje se utilizan cada vez más para resumir reseñas, analizar comentarios y procesar quejas de clientes. Si un modelo lee una reseña que dice que un producto es "no bueno sino extraordinario", podría malinterpretar el gran elogio como una declaración negativa porque no logra captar la naturaleza correctiva de la oración. Los investigadores concluyen que las evaluaciones actuales de estos sistemas deben incluir este tipo específico de desafío lingüístico. No basta con comprobar si un modelo sabe que "extraordinario" es más fuerte que "bueno"; el modelo también debe ser probado para ver si puede aplicar ese conocimiento cuando una oración niega el término más débil para afirmar el más fuerte. Hasta que los modelos puedan navegar estas correcciones de manera fiable, corren el riesgo de malinterpretar el tono y la intención de la comunicación humana, convirtiendo un alto elogio en una crítica y perdiendo el matiz que hace que el lenguaje sea tan poderoso.