Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

Resumen Técnico: Prompting Consciente de la Implicatura en la Interacción Humano–LLM

Planteamiento del Problema
A medida que los Modelos de Lenguaje Grandes (LLM) se convierten en la interfaz principal para la interacción humano-computadora (HCI), los sistemas luchan cada vez más con fenómenos pragmáticos, específicamente la implicatura conversacional. La implicatura se refiere al significado transmitido indirectamente a través del contexto, las suposiciones compartidas y las normas comunicativas, en lugar de una declaración explícita (por ejemplo, implicar un rechazo al afirmar "tengo mucho trabajo"). Los LLM actuales suelen recurrir a interpretaciones literales, lo que genera respuestas que los usuarios perciben como rígidas, poco inteligentes o desalineadas con su intención comunicativa. Si bien las evaluaciones existentes miden el rendimiento de los modelos en tareas de implicatura, existe una brecha en la comprensión de si hacer explícita la intención implícita mediante el prompting mejora la calidad y la relevancia percibidas de las respuestas en entornos orientados al usuario. Además, falta una taxonomía operativa y ligera diseñada específicamente para el diseño y la evaluación de estímulos en HCI.

Metodología
El estudio emplea un diseño de tres experimentos para operacionalizar la implicatura y evaluar su impacto en la percepción del usuario:

1. Desarrollo de la Taxonomía: Los autores introdujeron una taxonomía operativa orientada a HCI de tres clases de implicatura basada en la pragmática griceana y la teoría de los actos de habla de Searle:

   • Búsqueda de información: Solicitudes indirectas de conocimiento o aclaración.
   • Búsqueda de dirección: Solicitudes indirectas de orientación, acción o siguientes pasos.
   • Expresiva: Enunciados que transmiten afecto, actitud o evaluación sin una solicitud directa.
     Se estableció una rúbrica para etiquetar los prompts basándose en la intención implícita principal y la obligación de respuesta en el primer turno requerida.

2. Experimento 1 (Evaluación de Interpretación):

   • Tarea: 60 participantes humanos y cinco LLM (GPT-4o, GPT-4, GPT-3.5-turbo, Llama-2-7b-chat, Mistral-7B-Instruct) fueron solicitados a clasificar 30 prompts redactados en las tres clases de implicatura.
   • Objetivo: Verificar la aprendibilidad y la coherencia interna de la taxonomía y evaluar la alineación del modelo frente a una línea base de interpretación humana.

3. Experimento 2 (Relevancia y Calidad Percibidas):

   • Tarea: 90 participantes calificaron las respuestas de los LLM en una escala Likert de 5 puntos para la relevancia percibida y la calidad general.
   • Condiciones: Las respuestas se generaron bajo dos condiciones:
     • Línea base: Prompt de sistema estándar.
     • Consciente de la implicatura: El modelo recibió una breve definición de la clase de implicatura específica y su objetivo comunicativo para el prompt (sin detalles completos de la rúbrica).
   • Diseño: Un diseño de calificación entre sujetos incompleto donde los participantes visualizaron subconjuntos de pares prompt-respuesta.

4. Experimento 3 (Seguimiento Dirigido de Elección Forzada):

   • Tarea: 30 participantes realizaron una tarea de elección forzada de dos alternativas sobre un subconjunto dirigido de 10 pares prompt-respuesta. Estos pares se seleccionaron a posteriori del Experimento 2 basándose en diferencias de alto contraste en las calificaciones de relevancia o calidad.
   • Objetivo: Determinar si las ventajas de calificación observadas en el Experimento 2 se traducen en una preferencia directa por pares cuando ambas opciones se presentan lado a lado.

Contribuciones Clave

1. Taxonomía Operativa: Introducción de una taxonomía práctica de implicatura de tres clases (Búsqueda de información, Búsqueda de dirección, Expresiva) fundamentada en la teoría lingüística pero optimizada para el diseño y la evaluación de estímulos en HCI.
2. Evaluación de Modelos: Una evaluación comparativa de cinco LLM frente a una línea base humana, revelando una variación significativa en la medida en que los modelos se alinean con las interpretaciones humanas de la intención implícita.
3. Evidencia Centrada en el Usuario: Evidencia empírica que demuestra que el prompting consciente de la implicatura (hacer explícita la intención comunicativa) mejora mediblemente las evaluaciones de los usuarios sobre las respuestas de los LLM en términos de relevancia, calidad y preferencia directa.

Resultados

• Consistencia de la Taxonomía: La rúbrica de tres clases fue aprendible y coherente internamente, con los anotadores humanos alcanzando un acuerdo moderado ($\kappa$ de Fleiss = 0.414) sobre los prompts redactados.
• Alineación del Modelo: Los modelos más grandes se alinearon más estrechamente con las interpretaciones humanas. GPT-4o logró el acuerdo más alto (86.67%), seguido por GPT-4 (73.33%). Los modelos más pequeños (Llama-2, Mistral-7B, GPT-3.5) mostraron una alineación más débil y desigual, particularmente en las categorías de Búsqueda de dirección y Expresiva.
• Impacto del Prompting (Experimento 2): El prompting consciente de la implicatura mejoró significativamente tanto la relevancia percibida ($p < .001$) como la calidad percibida ($p < .001$) en todo el conjunto de respuestas evaluadas. La intervención no mostró efectos de interacción significativos con el tamaño del modelo o la clase de implicatura, lo que sugiere que el beneficio es amplio en lugar de específico de ciertos modelos o tipos de prompts.
• Preferencia Directa (Experimento 3): En el seguimiento de elección forzada, los participantes seleccionaron la respuesta consciente de la implicatura el 67.6% de las veces, una proporción significativamente superior al azar ($p = 1.04 \times 10^{-9}$).

Significado y Afirmaciones
El artículo argumenta que la implicatura es un caso de prueba prácticamente consecuente para integrar la teoría lingüística en el diseño de HCI. Los hallazgos apoyan una conclusión modesta pero concreta:

• El Andamiaje Pragmático Funciona: Hacer explícita la intención comunicativa implícita a través de un prompting estructurado mejora la calidad percibida de la interacción basada en lenguaje sin requerir reentrenamiento del modelo ni cambios arquitectónicos.
• Implicación de Diseño: Los sistemas conversacionales no deben tratar todas las entradas como solicitudes literales. Los diseñadores deben emplear estrategias de prompting que pongan de manifiesto las intenciones probables del usuario (por ejemplo, orientación o afecto) para mejorar la relevancia y la adecuación.
• Limitación de los Modelos Actuales: El estudio aclara que estas ganancias provienen del andamiaje pragmático (guía explícita) en lugar de ser evidencia de que los modelos actuales poseen un razonamiento pragmático humano estable y sin ayuda. Los modelos más grandes aproximan mejor el juicio humano, pero incluso ellos se benefician de la exposición explícita de la intención.
• Cambio en HCI: El trabajo aboga por ir más allá de la precisión de las evaluaciones para incluir la relevancia percibida por el usuario, la calidad y la preferencia directa como métricas centrales para evaluar los sistemas de interacción basados en lenguaje.

Los autores enfatizan que, si bien el estudio demuestra el valor de la exposición explícita de la intención, no afirma que los LLM hayan resuelto el problema de la inferencia autónoma de implicaturas. En cambio, destaca el valor de utilizar la teoría lingüística para informar el diseño de prompts y la evaluación de interacciones.