Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) han demostrado capacidades crecientes en el razonamiento pragmático y social, como la recuperación de implicaturas conversacionales y la simulación de juicios sociales humanos. Sin embargo, la evaluación actual de estas capacidades presenta dos limitaciones críticas:

1. Enfoque cualitativo vs. cuantitativo: La mayoría de las evaluaciones se centran en la agreement direccional (si el modelo identifica la implicación correcta o el orden de las alternativas), ignorando la magnitud de la inferencia. Los humanos evalúan las atribuciones sociales (competencia, amabilidad) en un espectro graduable; un modelo puede captar la dirección correcta del efecto (ej. "el hablante preciso parece más competente") pero exagerar o atenuar sistemáticamente la fuerza de esa inferencia.
2. Falta de métricas estandarizadas: Existe una desconexión entre la fidelidad estructural (la lógica de la inferencia) y la calibración de magnitud (la intensidad de la inferencia), pero no hay métricas diseñadas para cuantificar esta disociación de manera principista.
3. Intervención teórica: No está claro si las estrategias de prompting informadas por la teoría pragmática pueden corregir estas desviaciones de magnitud.

2. Metodología

A. Caso de Estudio y Datos Base

El estudio se basa en el Experimento 1 de Solt et al. (2025), que investiga el significado social derivado de la (im)precisión numérica.

• Diseño: Se cruzan dos factores: la forma del enunciado (preciso vs. aproximado) y el contexto pragmático (alta precisión [HP] vs. baja precisión [LP]).
• Ejemplo: Decir "La bicicleta costó $500" (preciso) vs. "La bicicleta costó aproximadamente $500" (aproximado) en un contexto de reclamación de seguro (HP) frente a una conversación casual con un amigo (LP).
• Benchmark Humano: Se utilizan las medias de las puntuaciones humanas (escala Likert de 7 puntos) sobre atributos como competencia, conocimiento, preparación, utilidad, simpatía y pedantería. El estudio humano estableció 10 efectos significativos (5 efectos principales y 5 interacciones) que sirven como referencia cuantitativa.

B. Modelos Evaluados

Se evaluaron tres LLMs de vanguardia (accedidos vía API):

• GPT (gpt-4o-mini)
• Claude (claude-sonnet-4-20250514)
• Gemini (gemini-2.5-pro)

C. Condiciones de Prompting

Se implementaron cuatro regímenes de prompting basados en dos supuestos pragmáticos (Razonamiento sobre Alternativas y Conocimiento/Motivos del Hablante):

1. Minimal (MIN): Instrucciones básicas idénticas al experimento humano (línea base).
2. Alternative-Aware (ALT): Incluye un ejemplo de "cadena de pensamiento" (Chain-of-Thought) que obliga al modelo a razonar explícitamente sobre las alternativas lingüísticas disponibles y su adecuación contextual.
3. Knowledge-and-Motives-Aware (KMA): Instruye al modelo a considerar múltiples estados de conocimiento y motivos comunicativos plausibles del hablante antes de puntuar, activando la inferencia sobre la incertidumbre epistémica.
4. Combined (COM): Integra ambas extensiones (ALT + KMA).

D. Métricas de Evaluación

El artículo introduce dos métricas novedosas para separar la estructura de la magnitud:

• Fidelidad Estructural:
  • Directional Agreement Score (DAS): Verifica si el signo de la diferencia (preciso vs. aproximado) coincide con el humano.
  • Interaction Sensitivity Score (ISS): Verifica si la interacción entre forma y contexto tiene el signo correcto.
• Calibración de Magnitud:
  • Effect Size Ratio (ESR): $ESR = |\Delta_M| / |\Delta_H|$. Un valor de 1 indica coincidencia perfecta; >1 indica exageración; <1 indica atenuación.
  • Calibration Deviation Score (CDS): Promedio de la desviación absoluta de los ESR respecto a 1. Mide el error global de calibración.
• Métricas Globales: Correlación de Spearman, Coeficiente de Correlación de Concordancia (CCC) y Error Cuadrático Medio (RMSE).

3. Resultados Clave

A. Disociación Estructura-Magnitud

• Fidelidad Estructural Perfecta: Todos los modelos alcanzaron un DAS e ISS de 1.0, reproduciendo perfectamente la dirección de los efectos humanos y las interacciones.
• Fallo en la Calibración: A pesar de la estructura correcta, los modelos distorsionaron la magnitud.
  • GPT: Mostró la mejor calibración general (CDS ~0.3-0.4), con desviaciones moderadas.
  • Claude: Mostró calibración intermedia pero altamente sensible al prompting.
  • Gemini: Presentó una inflación severa de magnitud (CDS > 1.4), exagerando los efectos humanos entre 2 y 3 veces, especialmente en las interacciones.

B. Efectos del Prompting

• KMA (Conocimiento y Motivos): Fue la condición más efectiva para reducir la desviación en modelos propensos a la exageración (Claude y Gemini). Al instruir al modelo sobre la incertidumbre epistémica, se moderó la intensidad de las inferencias sociales.
• ALT (Alternativas): Produjo efectos mixtos y a menudo adversos. En Gemini, ALT exacerbó la inflación de magnitud, sugiriendo que centrarse en las alternativas sin anclar el razonamiento en el estado mental del hablante amplifica los efectos de contraste.
• COM (Combinado): Fue la única intervención que mejoró consistentemente todas las métricas sensibles a la calibración (CCC, RMSE, CDS) en los tres modelos simultáneamente. Sin embargo, para los modelos con mayor déficit de calibración (Gemini), la combinación no superó a KMA por sí solo, sugiriendo una interferencia entre el ejemplo de cadena de pensamiento y las instrucciones de incertidumbre.

4. Contribuciones Principales

1. Nuevas Métricas (ESR y CDS): Introducen herramientas operativas para diagnosticar la disociación entre la estructura inferencial y la fuerza de la inferencia en LLMs, yendo más allá de la simple precisión categórica.
2. Evidencia de Disociación: Demuestran que los LLMs aprenden la lógica direccional de la inferencia social (estructura) pero fallan en codificar fielmente la naturaleza probabilística y graduada de la fuerza de esas inferencias (magnitud).
3. Validación de la Teoría Pragmática: Confirman que activar explícitamente los componentes del marco de Actos de Habla Racional (RSA) —específicamente el razonamiento sobre alternativas y los estados mentales del hablante— puede mejorar la calibración de los modelos, aunque los efectos dependen de la arquitectura.
4. Análisis Arquitectónico: Revelan que la capacidad de calibración no es uniforme entre modelos de vanguardia; GPT se comporta de manera más humana en magnitud, mientras que Gemini tiende a la sobre-estimación sistemática.

5. Significado e Implicaciones

• Evaluación de LLMs: El estudio argumenta que evaluar la "inteligencia social" de los LLMs requiere separar la fidelidad direccional de la alineación de magnitud. Un modelo puede ser "correcto" en lógica pero "incorrecto" en intensidad, lo cual es crucial para aplicaciones en ciencias sociales y simulación de comportamiento.
• Limitaciones del Prompting: Aunque el prompting pragmático ayuda, no resuelve completamente el problema de calibración. La mejora es parcial y depende de la arquitectura del modelo, lo que sugiere que el problema puede residir en los objetivos de entrenamiento o la normalización de respuestas, no solo en la falta de instrucciones.
• Futuro de la Investigación: Se sugiere que la calibración fina podría requerir objetivos de entrenamiento específicos (fine-tuning) en lugar de solo intervenciones en tiempo de inferencia. Además, se abre la puerta a investigar si la disociación observada en los modelos (alternativas sin estados mentales) también ocurre en humanos bajo ciertas condiciones experimentales.

En conclusión, el artículo establece que los LLMs actuales capturan la estructura inferencial del significado social humano, pero distorsionan variadamente su fuerza inferencial. La teoría pragmática ofrece una herramienta útil, pero incompleta, para mitigar estas distorsiones mediante estrategias de prompting combinadas.