Comparing Human and Large Language Model Interpretation of Implicit Information

Resumen Técnico: Comparación de la Interpretación de Información Implícita entre Humanos y LLMs

1. Planteamiento del Problema

La comunicación humana se basa en un marco de cooperación interpretativa, donde el lector asume un rol activo para inferir significados implícitos que no están explícitamente escritos en el texto. Sin embargo, existe la incertidumbre de si este marco se transfiere a la interacción con Grandes Modelos de Lenguaje (LLMs). Aunque los LLMs han revolucionado el Procesamiento del Lenguaje Natural (NLP), su capacidad para extraer y validar información implícita (inferencias, estados mentales, relaciones temporales no declaradas) no ha sido estudiada sistemáticamente en comparación con el juicio humano.

El problema central es la falta de métodos específicos para la Extracción de Información Implícita (IIE) y la necesidad de entender cómo los LLMs difieren de los humanos en términos de:

• Cobertura: ¿Qué cantidad de información implícita pueden extraer?
• Estrictud: ¿Son más conservadores o arriesgados al hacer inferencias?
• Consistencia: ¿Cómo varía su interpretación frente a contextos sociales ricos versus hechos objetivos?

2. Metodología

Los autores proponen una nueva tarea llamada Extracción de Información Implícita (IIE) y desarrollan una tubería (pipeline) automatizada basada en LLMs para construir un Grafo de Conocimiento (KG) estructurado a partir de una oración de contexto. El enfoque es agnóstico al modelo y funciona con modelos de caja negra mediante few-shot prompting, sin necesidad de ajuste fino (fine-tuning).

La tubería consta de tres etapas principales:

1. Extracción de Información:

   • Entidades: Identificación y etiquetado de entidades (usando una ontología específica para eventos).
   • Triplets Explícitos: Extracción de relaciones directas (Sujeto, Relación, Objeto).
   • Triplets Implícitos: Inferencia de relaciones no declaradas (intenciones, reacciones emocionales, pre/post-condiciones) basadas en el razonamiento de sentido común.
   • Manejo de Estructuras Complejas: Uso de una técnica inspirada en la reificación de RDF para manejar subordinaciones y verbos aspectuales (ej. "Chris dejó de hablar" se representa como un triplet anidado).

2. Validación de Inferencias:

   • Desafío de Inferencia: El modelo actúa como su propio crítico para descartar triplets no fundamentados.
   • Corrección: Si un triplet se descarta, el modelo intenta corregirlo para hacerlo válido sin alterar su significado original.
   • Explicación: El modelo debe proporcionar los triplets explícitos que sirven de premisa para la inferencia implícita.
   • Eliminación de Duplicados: Se verifica la redundancia semántica.

3. Análisis Temporal:

   • Clasificación de triplets como eventos (ocurrencias) o estados (condiciones).
   • Extracción de referencias temporales absolutas.
   • Determinación de relaciones temporales relativas entre pares de triplets (antes, después, simultáneo, ninguno).

Configuración Experimental:

• Modelos Evaluados: Mistral Large 2 y GPT-4o mini.
• Datasets: SocialIQA (situaciones sociales complejas) y COPA (causalidad de sentido común, más factual).
• Evaluación Humana: Se recolectaron juicios de crowdsourcing (205 estudiantes universitarios para SocialIQA y 75 trabajadores de MTurk para COPA) para comparar con las salidas de los LLMs.

3. Contribuciones Clave

• Definición de la Tarea IIE: Formalización de la extracción de información implícita como la construcción de un grafo de conocimiento estructurado que incluye inferencias, validación y temporalidad.
• Pipeline Agnóstico: Un método automatizado que no requiere acceso a los parámetros internos del modelo, permitiendo su aplicación a LLMs de caja negra.
• Análisis Comparativo Riguroso: Una evaluación cuantitativa y cualitativa que contrasta la "cooperación interpretativa" humana con la lógica de los LLMs, identificando brechas de cobertura y sesgos de estrictud.
• Descubrimiento de Patrones Contextuales: La identificación de que la estrictud de los modelos y humanos varía inversamente según la naturaleza del contexto (social vs. factual).

4. Resultados Principales

• Acuerdo Modelo-Humano (MHA): El acuerdo es moderado y varía según la tarea. Los modelos obtienen mayor acuerdo en la clasificación de eventos/estados y corrección de errores, pero el menor acuerdo en la comparación temporal.
• Cobertura Limitada: Aunque los humanos están de acuerdo con la mayoría de los triplets generados por los modelos, los humanos proponen consistentemente muchas adiciones (mediana de 13-16 adiciones humanas frente a 5-12 generadas por modelos). Esto indica que los LLMs actuales tienen una cobertura limitada de la información implícita.
• Dinámica de Estrictud (RQ2):
  • En contextos sociales (SocialIQA): Los LLMs son más conservadores que los humanos. Tienen una tendencia a "poda excesiva" (over-pruning), descartando inferencias que los humanos consideran válidas (ej. intenciones o estados emocionales).
  • En contextos factuales (COPA): La dinámica se invierte. Los humanos se vuelven más estrictos que los modelos, descartando inferencias especulativas que los LLMs mantienen. Esto sugiere que los humanos ajustan su nivel de inferencia según la densidad de evidencia factual en el texto.
• Problemas Temporales (RQ3): La extracción de relaciones temporales es el punto más débil. Los modelos tienden a abstenerse de inferir relaciones temporales no explícitas (seleccionando "ninguna relación" con mucha frecuencia), mientras que los humanos infieren ordenamientos basados en pistas de sentido común.
• Hallucinaciones: Las relaciones implícitas alucinas son raras y se eliminan eficazmente durante la fase de validación.
• Consenso Humano: El consenso entre los anotadores humanos es alto (>80% en la mayoría de las secciones), validando la fiabilidad del ground truth utilizado para la comparación.

5. Significado e Implicaciones

Este estudio demuestra que, aunque los LLMs son competentes en tareas de extracción explícita, aún carecen de la capacidad de "cooperación interpretativa" completa que caracteriza a la comunicación humana.

• Limitaciones de los Modelos Actuales: Los LLMs tienden a ser literales en contextos sociales, perdiendo matices implícitos, mientras que en contextos factuales pueden ser demasiado generosos con inferencias no soportadas.
• Necesidad de Ajuste: La metodología sugiere que las soluciones de IIE deben ser ajustadas no solo al modelo, sino también al dominio (social vs. factual) para equilibrar la cobertura y la precisión.
• Ética y Transparencia: Dado el uso creciente de LLMs en campos críticos (periodismo, derecho, investigación), entender cómo interpretan (o fallan al interpretar) el significado implícito es crucial para garantizar la fiabilidad y la transparencia de estos sistemas.

En conclusión, el trabajo establece una base metodológica sólida para evaluar la comprensión profunda de los LLMs, revelando que, si bien imitan el lenguaje humano, su proceso de inferencia implícita sigue siendo fundamentalmente diferente y menos flexible que el humano.