💬 NLP

Focus particles and scalar inferences across humans and language models

Este artículo investiga si los humanos y los modelos de lenguaje de gran tamaño generan juicios escalares consistentes para partículas de enfoque como "incluso" y "solo", encontrando que, si bien sus resultados a menudo coinciden, es probable que dependan de mecanismos subyacentes fundamentalmente diferentes.

Autores originales: Catherine M. Brousse, Nelu D. Radpour

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Catherine M. Brousse, Nelu D. Radpour

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender cómo un cerebro —o una computadora súper inteligente— decide qué significa algo. Los científicos se han preguntado durante mucho tiempo si nuestros cerebros tratan las palabras como objetos físicos que podemos mover en el espacio, o si las tratan más como señales emocionales. Piensa en esto de esta manera: cuando escuchas una palabra que significa "bueno", ¿piensas automáticamente en "derecha" o "arriba", y cuando escuchas "malo", piensas en "izquierda" o "abajo"? Esta idea se llama "codificación espacial", y sugiere que nuestras mentes podrían ser como un mapa donde el significado se dibuja con flechas. Pero hay otra idea: tal vez nuestros cerebros simplemente observan el sentimiento de la palabra (¿es positiva o negativa?) e ignoran el mapa por completo. Esta es la visión "evaluativa". Comprender cuál de las dos es cierta es importante porque nos ayuda a determinar si la inteligencia artificial piensa como nosotros, o si es solo una imitadora muy buena que realmente no "siente" de la misma manera que lo hacemos nosotros.

En este estudio, las investigadoras Catherine Brousse y Nelu Radpour decidieron poner esto a prueba utilizando dos "cerebros" muy diferentes: un grupo de 108 voluntarios humanos y un modelo de lenguaje masivo llamado Llama 3.3 70B. Utilizaron un tipo especial de truco de palabras llamado "partículas de enfoque". Ya conoces esas pequeñas palabras como "incluso" y "solo" que cambian la vibra de una oración sin cambiar los hechos principales. Por ejemplo, decir "Mike incluso puede hornear un pastel" suena como si hornear un pastel fuera una sorpresa o un nivel bajo, mientras que "Mike solo puede hornear un pastel" suena como si no tuviera otras habilidades, lo cual es un juicio muy específico y limitante. Las investigadoras querían ver si cambiar la disposición de las opciones de respuesta cambiaría la forma en que las personas y la IA calificaban estas oraciones.

Configuraron cuatro formas diferentes para pedir las respuestas. Imagina un control deslizante para calificar la habilidad: a veces era una línea horizontal (bajo a la izquierda, alto a la derecha), a veces era una línea vertical (bajo en la parte inferior, alto en la parte superior). También invirtieron las etiquetas, de modo que "bajo" estaba a la derecha o arriba, solo para ver si el cerebro se confundía por la dirección. Tanto los humanos como la IA leyeron 60 oraciones sobre personas realizando tareas, algunas con "incluso" y otras con "solo", y calificaron qué tan capaz parecía la persona en una escala del 1 al 5.

Los resultados fueron fascinantes. Tanto los humanos como la IA estuvieron de acuerdo en la lógica básica: las oraciones con "solo" obtuvieron calificaciones altas (lo que significa que la persona parecía muy capaz de una manera específica), y las oraciones con "incluso" obtuvieron calificaciones más bajas. Crucialmente, no importaba si los botones de respuesta estaban volteados de cabeza o de lado. Los juicios se mantuvieron iguales. Esto sugiere que, tanto para los humanos como para la IA, estos juicios de palabras son impulsados por el significado de las palabras, no por dónde están los botones en la pantalla. La teoría del "mapa" no ganó; la teoría del "significado" ganó.

Sin embargo, la IA y los humanos no eran gemelos idénticos. La IA era mucho más extrema en sus opiniones. Cuando la IA veía una oración con "solo", daba la puntuación máxima de 5 cada vez, sin ninguna variación. Los humanos, por otro lado, eran más matizados, dando una mezcla de puntuaciones altas pero no siempre el 5 perfecto. Las investigadoras descubrieron que incluso cuando intentaron hacer que la IA fuera más "aleatoria" cambiando sus configuraciones internas (llamadas temperatura), ella seguía dando la misma respuesta una y otra vez. Esto sugiere que, si bien la IA puede copiar el patrón general del pensamiento humano, carece de la variabilidad natural y desordenada que tienen las personas reales. Es como si la IA fuera un robot que memorizó el libro de reglas perfectamente, mientras que los humanos son una multitud de personas que todos están de acuerdo con la regla, pero que aún tienen sus propias pequeñas peculiaridades. El estudio sugiere que los modelos actuales de IA pueden ser excelentes para obtener el "promedio" correctamente, pero podrían no ser los mejores modelos para entender cómo funcionan realmente las mentes humanas, porque no parecen tener esa misma gama de diferencias individuales.

Resumen Técnico: Partículas de Foco e Inferencias Escalares en Humanos y Modelos de Lenguaje

Problema y Motivación
El estudio aborda una pregunta central en la ciencia cognitiva y el procesamiento del lenguaje natural: cómo los humanos y los sistemas artificiales interpretan el significado estructurado, específicamente en lo que respecta a las partículas sensibles al foco como incluso (even) y solo (only). Estas partículas modifican el significado inferido de una oración al introducir expectativas sobre alternativas (por ejemplo, incluso destaca alternativas de baja probabilidad, mientras que solo introduce exclusividad) sin alterar el contenido proposicional central.

Un debate teórico clave concierne al mecanismo que impulsa los juicios escalares asociados con estas partículas. Un enfoque postula que los juímites se fundamentan en la codificación espacial, donde las magnitudes abstractas se mapean sobre dimensiones espaciales (por ejemplo, izquierda-derecha o arriba-abajo), lo que implica que la orientación de la escala de respuesta debería influir sistemáticamente en los juicios (Dehaene et al., 1993). Un enfoque alternativo, basado en el principio de correspondencia de polaridad, sugiere que los juicios son impulsados por la estructura evaluativa y lingüística, lo que significa que las diferencias entre las partículas deben permanecer estables independientemente de la configuración espacial (Proctor & Cho, 2006).

Con la evidencia reciente de que los Grandes Modelos de Lenguaje (LLM) desarrollan representaciones internas estructuradas de la información lingüística (Kryvosheieva et al., 2025), los autores investigan si los LLM exhiben patrones de juicio escalar similares a los humanos. Crucialmente, a diferencia de los humanos cuya representación espacial está moldeada por la interacción encarnada, los modelos basados en transformadores procesan los tokens simultáneamente mediante atención bidireccional (Vaswani et al., 2017). Este estudio pone a prueba si juicios escalares similares emergen de principios representacionales compartidos o de mecanismos subyacentes distintos.

Metodología
Los investigadores llevaron a cabo un estudio comparativo que involucró a participantes humanos y un LLM a través de cuatro configuraciones de escala de respuesta.

Estímulos: 60 oraciones que describen tareas relevantes para la capacidad (p. ej., "Mike puede hornear un pastel"). Treinta ítems contenían la partícula incluso y treinta contenían solo.
Participantes Humanos: $N = 108$ participantes completaron uno de cuatro estudios de Qualtrics.
Manipulaciones Experimentales: La configuración espacial de la escala de respuesta se manipuló a lo largo de dos dimensiones:
1. Formato Espacial: Horizontal vs. Vertical.
2. Mapeo de Etiquetas: Estándar (baja capacidad a la izquierda/abajo, alta a la derecha/arriba) vs. Invertido (etiquetas invertidas).
  Esto dio lugar a cuatro condiciones: horizontal-estándar, horizontal-invertido, vertical-estándar y vertical-invertido.
Procedimiento: Los participantes calificaron la capacidad del individuo en la oración en una escala Likert de 5 puntos.
Recolección de Datos del LLM: Los datos se recolectaron utilizando Llama 3.3 70B a través de la API de Groq. Cada estímulo se presentó en un prompt que reflejaba la estructura de la encuesta humana. Se le instruyó al modelo para que generara un único número entero (1–5). Para muestrear de la distribución de respuesta del modelo, cada prompt se ejecutó 20 veces con una temperatura de 1.0, generando 4,800 observaciones (60 oraciones $\times$ 4 condiciones $\times$ 20 muestras).

Resultados
Las calificaciones se analizaron mediante un modelo lineal de efectos mixtos con Partícula, Fuente (Humano vs. LLM), Formato y Mapeo como efectos fijos.

Efectos de la Partícula: Se encontró un efecto principal significativo de la Partícula ( $\beta= 2.20, p < .001$ ). Tanto los humanos como el LLM asignaron calificaciones más bajas a las oraciones con incluso y calificaciones más altas a las oraciones con solo.
Diferencias de Fuente: Una interacción significativa de Partícula $\times$ $\times$ Fuente ( $\beta= 1.38, p < .001$ $β = 1.38, p < .001$ ) reveló que el LLM produjo juicios más extremos.
- Humanos: Los promedios fueron 2.07 para incluso y 4.31 para solo (Diferencia: 2.20).
- LLM: Los promedios fueron 1.41 para incluso y 5.00 para solo (Diferencia: 3.58).
- Notablemente, para las oraciones con solo, el LLM asignó la calificación máxima (5) en el 100% de las observaciones en todas las condiciones.
Efectos Espaciales: Cambiar la orientación o el mapeo de etiquetas de la escala de respuesta no eliminó ni revirtió el patrón de juicios para ninguno de los dos grupos. Esto sugiere que los juicios escalares son impulsados por el contenido semántico y evaluativo más que por la organización espacial.
Variabilidad: El LLM exhibió una variabilidad de respuesta sustancialmente menor que los humanos. Incluso con un muestreo de temperatura de 1.0, el muestreo repetido produjo respuestas altamente consistentes. Un barrido de temperatura de seguimiento (0.0 a 2.0) confirmó que las respuestas del modelo permanecieron estables, indicando que aumentar la temperatura por sí solo era insuficiente para generar la variabilidad humana.

Contribuciones Clave

Mecanismo de Juicio Escalar: El estudio proporciona apoyo empírico a un enfoque evaluativo de los juicios escalares sobre un enfoque de codificación espacial. La estabilidad de los juicios a través de las configuraciones espaciales sugiere que la estructura semántica de incluso y solo impulsa la interpretación con mayor fuerza que la organización espacial de las opciones de respuesta.
Cognición LLM vs. Humana: El artículo demuestra que, si bien los LLM pueden reproducir patrones de comportamiento humano agregados (tendencias cualitativas), divergen significativamente en la variabilidad de la respuesta. La tendencia del LLM hacia juicios categóricos y extremos contrasta con las respuestas graduadas y variables de los humanos.
Limitaciones del Muestreo: Los hallazgos desafían la suposición de que el muestreo repetido a temperaturas altas puede simular las diferencias individuales humanas. Los autores argumentan que la variabilidad a través de las ejecuciones del modelo refleja ruido alrededor de un juicio fijo, mientras que la variabilidad humana refleja diferencias individuales genuinas en la interpretación.

Significancia y Reivindicaciones
Los autores concluyen que la falta de variabilidad en la respuesta del LLM plantea interrogantes sobre la idoneidad de los LLM actuales como modelos de la cognición humana, dado que las diferencias individuales son una característica definitoria del comportamiento humano. El artículo se alinea con hallazgos recientes (Qiu et al., 2025; Rodriguez et al., 2026) que indican que los LLM contemporáneos no logran reproducir la amplitud de la variabilidad observada en las poblaciones humanas, incluso cuando el rendimiento promedio de la tarea está bien emparejado. El estudio sugiere modestamente que, si bien los LLM capturan la lógica estructural de las inferencias escalares, aún no modelan la naturaleza estocástica del juicio humano.

Resumen Técnico: Partículas de Foco e Inferencias Escalares en Humanos y Modelos de Lenguaje

Más como este