💬 NLP

Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

Este estudio demuestra que las pequeñas variaciones léxicas y sintácticas en las entradas degradan significativamente el rendimiento y alteran las clasificaciones de los modelos de lenguaje, revelando que estos dependen más de patrones superficiales que de una competencia lingüística abstracta y que la robustez no escala consistentemente con el tamaño del modelo.

Autores originales: Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

Publicado 2026-02-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Grandes Modelos de Lenguaje (como los que impulsan a los chatbots más famosos) son como estudiantes de élite que se preparan para un examen final muy importante.

Hasta ahora, para ver quién es el mejor estudiante, los profesores (los investigadores) les hacían las mismas preguntas una y otra vez y miraban quién sacaba la nota más alta. Si un estudiante sacaba un 95 y otro un 90, decíamos: "¡El primero es el rey!".

Pero este paper nos cuenta una historia muy diferente: ese examen no es tan justo como parece.

Aquí te explico los tres descubrimientos principales de la investigación, usando analogías sencillas:

1. El Truco de la Palabra (Sensibilidad Léxica)

Los investigadores decidieron jugar un juego con los estudiantes. Les dieron el mismo examen, pero hicieron un pequeño truco: cambiaron las palabras por sinónimos sin cambiar el significado.

Ejemplo: En lugar de preguntar "¿Quién propuso la idea de que algunos motivos son más imperativos para la supervivencia?", les preguntaron "¿Quién propuso el concepto de que algunas motivaciones son más cruciales para la existencia?".

¿Qué pasó?
¡El caos! A los modelos les fue muy mal cuando cambiaron las palabras. Fue como si un estudiante hubiera memorizado la respuesta exacta ("Supervivencia") pero se hubiera quedado en blanco cuando la pregunta decía "Existencia".

La lección: Los modelos no están "pensando" realmente sobre el significado profundo; están adivinando basándose en patrones de palabras superficiales. Si cambias la ropa del problema, no reconocen la cara.

2. El Truco de la Estructura (Sensibilidad Sintáctica)

Luego, hicieron otro truco: cambiaron el orden de la oración pero mantuvieron las mismas palabras.

Ejemplo: Cambiaron "Abraham Maslow propuso la idea..." por "La idea... fue propuesta por Abraham Maslow".

¿Qué pasó?
Aquí fue más raro. A veces les fue igual de bien, a veces un poco peor, y a veces incluso mejor.

La lección: A los modelos no les importa tanto la estructura gramatical (quién hizo qué) como las palabras específicas que usan. Son como un lector que se fija más en las palabras clave que en la gramática de la frase.

3. El Mito del "Gigante Inquebrantable" (Tamaño vs. Robustez)

Existe una creencia popular: "Cuanto más grande y potente es el modelo, más inteligente y resistente es". Es como pensar que un elefante es invencible porque es enorme.

¿Qué descubrieron?
¡Falso! El tamaño no garantiza que no se rompa.

En algunos exámenes (como preguntas de cultura general), los modelos más grandes fueron los que más sufrieron cuando cambiaron las palabras. ¡Se volvieron más frágiles!
En otros exámenes (como leer y entender textos médicos), los modelos grandes sí funcionaron mejor.
La lección: No puedes confiar ciegamente en que "más grande = mejor". Depende totalmente de qué tarea tengan que hacer. Un gigante puede tropezar con una piedra pequeña en un camino, mientras que un pequeño puede saltarla fácilmente.

El Problema de los "Rankings" (Las Tablas de Posiciones)

Imagina una tabla de clasificación de videojuegos donde el primer lugar es el "Mejor Jugador".
Este estudio demuestra que esa tabla es muy inestable.

Si cambias ligeramente la redacción de las preguntas (como cambiar "golpear" por "pegar"), el modelo que estaba en el 1º lugar puede caer al 10º lugar, y el que estaba en el 15º puede subir al 5º.

¿Por qué es grave?
Porque las empresas y los gobiernos eligen estos modelos basándose en esas tablas. Si la tabla cambia solo porque cambiaste una palabra, significa que no estamos midiendo la inteligencia real, sino la capacidad del modelo para memorizar cómo se veían las preguntas en el examen de práctica.

En Resumen

Este paper nos dice que:

Los modelos actuales son como parroquias que repiten lo que escuchan, no como genios que entienden el contexto.
Si cambias las palabras (aunque el significado sea el mismo), se confunden mucho.
Las listas de "mejores modelos" actuales son frágiles y poco fiables.

La conclusión final: Antes de elegir un modelo para tareas importantes (como medicina o leyes), no solo miremos su nota en el examen estándar. Debemos ponerle "trampas" y cambios de palabras para ver si realmente entiende lo que dice o si solo está adivinando. Necesitamos modelos que sean robustos, no solo modelos que tengan buenas notas en un examen fijo.

Resumen Técnico: Sensibilidad Léxica y Sintáctica en la Evaluación de LLMs

1. Planteamiento del Problema

El avance rápido de los Modelos de Lenguaje Grandes (LLMs) ha establecido las benchmarks (puntos de referencia) estandarizadas como la herramienta principal para la comparación de modelos. Sin embargo, su fiabilidad está siendo cuestionada debido a una sensibilidad excesiva a variaciones superficiales en los prompts de entrada.

El vacío de conocimiento: Estudios anteriores han demostrado que el rendimiento de los modelos puede degradarse significativamente ante cambios irrelevantes en el contexto, el orden de las premisas o el formato. No obstante, no se ha distinguido claramente si esta variabilidad se debe a cambios léxicos (cambio de palabras) o sintácticos (cambio de estructura gramatical), manteniendo el significado verdadero (condiciones de verdad) intacto.
La pregunta central: ¿Es la variación en el rendimiento impulsada más por desplazamientos léxicos o por alteraciones en la estructura sintáctica?

2. Metodología

Los autores diseñaron un experimento riguroso que consta de tres etapas principales:

A. Selección de Datos y Modelos:

Modelos: Se evaluó una cohorte de 23 LLMs de última generación, variando en tamaño (desde ~0.3B hasta ~235B parámetros), arquitectura (transformers densos vs. mezcla de expertos) y proveedor (open-weight vs. propietarios). Todos se probaron en configuración zero-shot.
Benchmarks: Se seleccionaron tres conjuntos de datos diversos:
1. MMLU: Preguntas de opción múltiple (conocimiento general y razonamiento).
2. SQuAD: Preguntas de extracción de respuestas (comprensión lectora).
3. AMEGA: Preguntas de respuesta libre en el dominio clínico (adherencia a guías médicas).

B. Generación de Perturbaciones (Preservación de Significado):
Se desarrollaron dos pipelines lingüísticamente fundamentados para generar variaciones que mantengan el significado original:

Pipeline Léxico: Utiliza un LLM (Llama-3.3-70B) para realizar sustituciones de sinónimos guiadas, asegurando la adecuación contextual y preservando la terminología específica del dominio. Para SQuAD, se impuso la restricción de no alterar la cadena de respuesta original.
Pipeline Sintáctico: Utiliza análisis de dependencias (spaCy) para identificar constituyentes gramaticales y aplicar transformaciones sintácticas válidas (ej. voz activa a pasiva, extraposición, movimiento de wh-, alternancia dativa). Un LLM ejecuta estas transformaciones asegurando la gramaticalidad y la preservación del contenido proposicional.

C. Evaluación y Métricas:

Se compararon los resultados en los datos originales vs. perturbados.
Métricas: Precisión (MMLU), Exactitud (EM), F1 y Similitud Semántica de Respuesta (SAS) para SQuAD, y puntuación de adherencia a guías para AMEGA.
Análisis Estadístico: Se aplicó la prueba de McNemar para verificar la significancia de los cambios en la precisión por modelo, la prueba de rangos con signo de Wilcoxon para la distribución global de puntuaciones, y el coeficiente de correlación de rango Kendall's $\tau$ para medir la estabilidad de los leaderboards (clasificaciones).

3. Contribuciones Principales

El artículo presenta tres hallazgos fundamentales que desafían las suposiciones actuales sobre la evaluación de LLMs:

Dependencia de Cues Léxicos Superficiales: Los LLMs dependen más de patrones léxicos superficiales que de una competencia lingüística abstracta o estructural. Son significativamente más sensibles a cambios de palabras que a reestructuraciones sintácticas.
Fragilidad de los Leaderboards: Los rankings de modelos son frágiles. Cambios menores pero semánticamente equivalentes son suficientes para alterar significativamente el ordenamiento de los modelos, especialmente en tareas complejas, cuestionando la fiabilidad de las tablas de clasificación estáticas.
La Escala no Garantiza Robustez: La hipótesis de que "modelos más grandes son más robustos" es falsa. La relación entre el tamaño del modelo y la estabilidad es no monótona y dependiente de la tarea. En algunos casos, los modelos más grandes son incluso más frágiles.

4. Resultados Clave

Impacto de las Perturbaciones:
- Léxico: Causó una degradación de rendimiento sustancial y estadísticamente significativa en casi todos los modelos y tareas. En MMLU, la caída promedio fue de 7.72 puntos porcentuales.
- Sintáctico: Los efectos fueron más heterogéneos y generalmente menores (caída de 1.64 pp en MMLU), aunque en algunos casos incluso mejoraron los resultados.
- Conclusión: La sensibilidad a la variación léxica es mucho mayor que a la sintáctica.
Estabilidad de los Rankings:
- En MMLU, los rankings se mantuvieron relativamente estables ( $\tau \approx 0.98$ ).
- En SQuAD y AMEGA, los rankings mostraron alta volatilidad. Por ejemplo, en SQuAD bajo perturbación léxica, el modelo GPT-4.1-Nano cayó del puesto 8 al 12, mientras que GPT-OSS-120b subió del 14 al 9 bajo perturbación sintáctica.
- Esto indica que los leaderboards para tareas complejas son inestables ante variaciones lingüísticas.
Relación Tamaño vs. Robustez:
- MMLU: Correlación positiva ( $r = 0.84$ ) entre tamaño y caída de rendimiento (los modelos más grandes fueron menos robustos).
- SQuAD y AMEGA: Correlación negativa ( $r = -0.47$ y $-0.67$ respectivamente), indicando que en estas tareas los modelos más grandes tendieron a ser más robustos.
- Esto demuestra que la escala no confiere universalmente estabilidad; el efecto depende intrínsecamente de la naturaleza de la tarea.

5. Significado e Implicaciones

Crítica a la Evaluación Estática: Las puntuaciones actuales de benchmarks pueden estar sobreestimando la capacidad de generalización real de los LLMs, ya que los modelos podrían estar "sobreajustando" a patrones léxicos específicos del conjunto de pruebas en lugar de demostrar comprensión lingüística profunda.
Vulnerabilidad en Aplicaciones Críticas: La alta sensibilidad a la elección de palabras representa un riesgo en aplicaciones de alto riesgo (como la medicina o el derecho), donde variaciones menores en la redacción podrían llevar a resultados erróneos.
Nueva Dirección para la Evaluación: Se propone integrar la prueba de robustez como un componente estándar en la evaluación de LLMs. En lugar de solo medir el rendimiento en datos estáticos, se debe evaluar la estabilidad de los resultados ante variaciones razonables.
Reproducibilidad: Los autores han liberado sus implementaciones y los conjuntos de datos perturbados en GitHub para fomentar la investigación futura sobre la generalización lingüística y el desarrollo de metodologías de entrenamiento más robustas (ej. pérdida de consistencia semántica).

En resumen, el estudio concluye que los LLMs actuales son más vulnerables a cambios en las palabras que en la gramática, y que la confianza ciega en los leaderboards actuales es peligrosa debido a su inestabilidad ante variaciones lingüísticas mínimas.