What Makes a Good Query? Measuring the Impact of Human-Confusing Linguistic Features on LLM Performance

Resumen Técnico: El Impacto de las Características Lingüísticas en las Alucinaciones de los LLM

1. Planteamiento del Problema

Las alucinaciones en los Modelos de Lenguaje Grande (LLM) —la generación de contenido plausible pero factualmente incorrecto— son un obstáculo crítico, especialmente en dominios de alto riesgo como las finanzas y el derecho. La literatura actual suele tratar las alucinaciones como defectos inherentes al modelo o a su estrategia de decodificación, enfocándose en mitigaciones reactivas (post-generación) como la auto-verificación o métodos proactivos basados en la recuperación de información (RAG).

Sin embargo, este trabajo propone un cambio de paradigma: la forma de la consulta (query) en sí misma puede moldear la respuesta del modelo. Basándose en la lingüística clásica, los autores argumentan que ciertas características lingüísticas que confunden a los humanos (como la ambigüedad, la complejidad sintáctica o la falta de especificidad) también pueden aumentar la propensión de un LLM a alucinar. El objetivo es identificar empíricamente qué rasgos lingüísticos en las consultas de entrada correlacionan con un mayor riesgo de alucinación.

2. Metodología

El estudio se basa en un análisis a gran escala de 369,837 consultas del mundo real extraídas de 13 conjuntos de datos de preguntas y respuestas (QA), abarcando tres escenarios: extractivo, opción múltiple y abstracto.

• Extracción de Características (Taxonomía de 17 dimensiones):
  Se construyó un vector de características binario que captura fenómenos lingüísticos conocidos por afectar la comprensión humana. Estas características se agrupan en:

  • Ambigüedad: Falta de especificidad, palabras polisémicas, rasgos pragmáticos.
  • Estructura Referencial: Uso de anáforas.
  • Complejidad: Complejidad de cláusulas, profundidad de dependencia, altura del árbol de análisis.
  • Polaridad y Grounding: Uso de negación, anclaje de intención, factibilidad (answerability), restricciones contextuales.
  • Otros: Uso de superlativos, rareza léxica, subjetividad, detalles excesivos, etc.
  • Nota: Las características se extrajeron utilizando LLMs (gpt-4o) con prompts estructurados y ejemplos de few-shot, validados en conjuntos de prueba.

• Estimación del Riesgo de Alucinación:
  Para evitar el sesgo de memorización de los conjuntos de datos, los autores utilizaron un enfoque de paráfrasis semánticamente preservadora.

  1. Para cada consulta original, se generaron 6 paráfrasis léxicamente perturbadas pero semánticamente equivalentes.
  2. Se evaluó la respuesta del modelo para cada paráfrasis utilizando un proxy convexo de alucinación que combina:
     • Decisión binaria de un juez LLM (semántica).
     • Similitud de cadenas difusa (superficie).
     • Puntuación BLEU-1 (léxica).
  3. Las consultas se clasificaron en tres categorías ordinales: Seguras (Safe), Límite (Borderline) y Arriesgadas (Risky) basándose en la proporción de paráfrasis que resultaron en alucinaciones.

• Modelado Estadístico:
  Se ajustó un modelo de regresión logística ordinal (proporcional odds) para predecir la probabilidad de que una consulta sea "Risky". El modelo incluye efectos fijos para el conjunto de datos y el escenario, permitiendo aislar el efecto marginal de las características lingüísticas. Se realizaron validaciones robustas mediante el método Leave-One-Dataset-Out (LODO) y análisis de solapamiento de propensión (propensity overlap) para distinguir entre correlación y causalidad potencial.

3. Contribuciones Clave

1. Taxonomía y Extracción de Características: Presentación de una representación de 17 características lingüísticas fundamentadas teóricamente y su aplicación sistemática a LLMs para evaluar su asociación con comportamientos alucinatorios.
2. Mapa de Riesgo a Gran Escala: Un mapa empírico y distribucional que vincula características de la consulta con la propensión a alucinar, derivado de un modelo ordinal sobre casi 370k consultas.
3. Guía Proactiva: Identificación de reglas prácticas de bajo esfuerzo para la reescritura de consultas (query rewriting) que pueden mitigar el riesgo antes de la generación, complementando las defensas reactivas.

4. Resultados Principales

El análisis revela un "paisaje de riesgo" consistente donde ciertas características lingüísticas actúan como predictores fuertes de alucinación:

• Factores de Alto Riesgo (Aumentan la probabilidad de alucinación):

  • Falta de Especificidad (Lack of Specificity): Es el predictor más fuerte (Coeficiente: 0.868, OR: 2.382). Las consultas vagas o sin restricciones de tiempo/entidad aumentan drásticamente el riesgo.
  • Complejidad de Cláusulas (Clause Complexity): La anidación profunda de cláusulas subordinadas correlaciona positivamente con el riesgo.
  • Uso de Anáforas y Negación: La ambigüedad referencial y las negaciones complejas aumentan la probabilidad de error.
  • Desajuste Consulta-Escenario (Query-Scenario Mismatch): Cuando la consulta pide algo incompatible con el tipo de tarea (ej. pedir extracción exacta en un escenario abstracto).

• Factores Protectores (Disminuyen la probabilidad de alucinación):

  • Factibilidad (Answerability): Es el factor protector más fuerte (Coeficiente: -1.106, OR: 0.331). Las consultas que tienen una respuesta verificable en el contexto son mucho menos propensas a alucinar.
  • Anclaje de Intención (Intention Grounding): Consultas con verbos de acción claros (ej. "resumir", "comparar") reducen el riesgo.
  • Restricciones Contextuales: La presencia de detalles específicos (fechas, lugares) actúa como un ancla semántica.

• Hallazgos Sorprendentes:

  • La rareza de palabras y los superlativos (que suelen confundir a los humanos) mostraron una asociación mínima o nula con las alucinaciones en los LLMs, sugiriendo que los modos de fallo de los humanos y las máquinas no siempre coinciden.
  • La especificidad del dominio mostró efectos mixtos y dependientes del modelo, sin una correlación uniforme.

• Interacción con la Longitud y el Escenario:

  • El riesgo aumenta con la longitud de la consulta en escenarios abstractos, pero permanece bajo y estable en escenarios extractivos.
  • Las brechas de riesgo entre consultas con y sin características de ambigüedad son más pronunciadas en consultas cortas y abiertas.

5. Significado e Implicaciones

Este estudio demuestra que una parte sustancial del riesgo de alucinación no es intrínseca al modelo, sino que es inducida por la consulta.

• Validación Empírica: Proporciona evidencia de que las características lingüísticas que desestabilizan la interpretación humana (ambigüedad, falta de contexto) también desestabilizan a los LLMs.
• Estrategias de Mitigación Proactiva: Los autores proponen un enfoque de "triaje" en tiempo de inferencia. Los sistemas pueden detectar características de alto riesgo (como falta de especificidad) y redirigir la consulta a un paso de aclaración o a una ruta basada en recuperación (RAG) antes de generar una respuesta.
• Reescritura de Consultas: Se identifican tres reglas simples para reducir el riesgo:
  1. Añadir restricciones desambiguadoras (tiempo, lugar, entidad).
  2. Declarar explícitamente la intención (ej. "resumir", "verificar").
  3. Resolver la polisemia de antemano.

En conclusión, el trabajo sugiere que optimizar la formulación de las consultas es una estrategia práctica y efectiva para mejorar la fiabilidad de los LLMs, reduciendo la necesidad de inspección humana post-hoc y complementando las defensas técnicas existentes.