Anthropomimetic Uncertainty: What Verbalized Uncertainty in Language Models is Missing

Resumen Técnico: Incertidumbre Antropomimética

1. El Problema

Los modelos de lenguaje grandes (LLM) sufren de un problema crítico de sobreconfianza: a menudo generan información incorrecta o alucinada con un tono de certeza absoluta, lo que socava su fiabilidad y legitimidad percibida por los usuarios.

• Falta de comunicación de incertidumbre: Aunque los humanos expresan incertidumbre de forma matizada (usando marcadores epistémicos, hedging o probabilidades numéricas), los LLM tienden a omitir estas señales o a hacerlo de manera inconsistente.
• Riesgos de confianza: Los usuarios, al percibir a los LLM como agentes humanos, confían en sus respuestas. La incapacidad del modelo para expresar duda adecuada (o su tendencia a ser excesivamente seguro) impide que los usuarios ejerzan la "vigilancia epistémica" necesaria para filtrar información errónea.
• Brecha en la investigación actual: La mayoría de las investigaciones en Procesamiento del Lenguaje Natural (PLN) sobre incertidumbre verbalizada se centran en métricas numéricas o en marcadores simples, ignorando las complejidades pragmáticas, sociales y contextuales de cómo los humanos comunican la duda.

2. Metodología

Los autores emplean un enfoque mixto que combina revisión teórica, análisis de datos a gran escala y experimentación empírica:

• Revisión de Literatura y Análisis de Estado del Arte:
  • Se analizaron 53 publicaciones recientes (desde 2022) sobre incertidumbre verbalizada.
  • Se clasificaron los métodos según el registro de verbalización (numérico vs. verbal) y la técnica de elicitación (prompting vs. fine-tuning).
• Análisis de Sesgos en Datos de Entrenamiento:
  • Se examinaron distribuciones de términos numéricos y marcadores epistémicos en diversos corpus (noticias, Reddit, libros, artículos de ArXiv) para identificar sesgos inherentes a los datos de pre-entrenamiento.
  • Se analizó la distribución de marcadores (fortalecedores vs. debilitadores) en conjuntos de datos de fine-tuning instructivo (Aya, Tülu 3, OpenHermes, UltraChat) y en modelos alineados mediante RLHF (Reinforcement Learning from Human Feedback).
• Experimentos Empíricos con LLM Comerciales:
  • Se evaluaron 6 modelos comerciales (Claude 3.5 Haiku, Command R+, GPT-4o mini, DeepSeek, Gemini 2.0 flash, Mistral Medium).
  • Pruebas de Contexto Conversacional: Se simularon 250 preguntas de TriviaQA en diferentes dinámicas de poder (ej. Empleado-Jefe, Ciudadano-Monarca, Sospechoso-Interrogador) para medir cómo el contexto social afecta la expresión de incertidumbre.
  • Pruebas de Dominio: Se utilizaron 100 preguntas por materia del conjunto de datos MMLU para evaluar la variabilidad entre dominios temáticos.
• Métricas de Evaluación:
  • Calibración Numérica: Error de Calibración Esperado (ECE).
  • Calibración Lingüística: Coeficiente de Yule (Y) para medir la correlación entre el uso de fortalecedores/debilitadores y la corrección de la respuesta.

3. Contribuciones Clave

• Definición de "Incertidumbre Antropomimética": Los autores proponen este nuevo principio, que postula que la comunicación de incertidumbre en IA debe imitar las normas y matices de la comunicación humana (contexto social, jerarquía, intención) para ser verdaderamente confiable, en lugar de limitarse a una calibración estadística fría.
• Identificación de Sesgos Sistémicos: Demostraron que la verbalización de la incertidumbre en los LLM no es solo un reflejo de su conocimiento interno, sino que está fuertemente sesgada por:
  • La distribución de datos de entrenamiento (ej. el número "100" aparece más en noticias, "50" en libros).
  • El proceso de alineación (RLHF), que tiende a penalizar la duda y premiar respuestas seguras y directas.
• Análisis de la Variabilidad Contextual: Evidenciaron que los modelos cambian drásticamente su registro de incertidumbre (numérico vs. verbal) y su calibración dependiendo de la relación social simulada (ej. un modelo es más cauteloso ante un "Monarca" que ante un "Amigo").
• Crítica a las Métricas Actuales: Argumentan que la calibración basada puramente en probabilidades es insuficiente y que la imprecisión verbal (ej. "quizás", "probablemente") puede ser una característica deseable y humana, no un defecto.

4. Resultados Principales

• Sobreconfianza y Falta de Hedging: En pruebas de noticias, los modelos dieron respuestas incorrectas el 67% de las veces, pero solo usaron frases de duda ("parece", "es posible") en el 7.5% de los casos.
• Sesgo de RLHF hacia la Certeza: Los modelos alineados con RLHF muestran una preferencia marcada por fortalecedores (ej. "definitivamente") y evitan los debilitadores, incluso cuando la respuesta es incorrecta. Esto crea una correlación negativa entre la expresión de certeza y la precisión real.
• Variabilidad Extrema: La calibración de los modelos varía drásticamente según el dominio y el contexto conversacional.
  • El error de calibración (ECE) alcanzó hasta un 44% en ciertos contextos.
  • El coeficiente de Yule mostró que el uso de marcadores lingüísticos a veces es anti-correlacionado con la verdad (usar "seguro" para respuestas incorrectas).
• Influencia del Dominio: La frecuencia de marcadores epistémicos en las respuestas de los LLM correlaciona positivamente con su frecuencia en los corpus de entrenamiento específicos de cada dominio, confirmando que los modelos imitan el estilo del texto de entrenamiento más que su propia incertidumbre interna.
• Riesgos de la Antropomorfización: La tendencia de los usuarios a atribuir intenciones humanas a los LLM, combinada con la sobreconfianza de estos, reduce la vigilancia crítica de los usuarios, aumentando el riesgo de desinformación.

5. Significado e Implicaciones Futuras

El artículo establece un nuevo paradigma para el desarrollo de LLMs más seguros y confiables:

• Hacia la Incertidumbre Antropomimética: Se debe pasar de simplemente "calibrar" probabilidades a diseñar sistemas que comuniquen la duda de manera consistente, personalizada (adaptada al usuario y su nivel de riesgo) y explicativa (justificando por qué hay duda).
• Nuevas Direcciones de Investigación:
  • Personalización: Adaptar el registro de incertidumbre a las preferencias del usuario (ej. un médico prefiere números, un cliente general prefiere lenguaje natural).
  • Multilingüismo: Expandir la investigación más allá del inglés, ya que la expresión de duda varía cultural y lingüísticamente.
  • Más allá de la Calibración Clásica: Desarrollar métricas que evalúen la utilidad de la incertidumbre para la toma de decisiones humanas, no solo la coincidencia estadística.
  • Mitigación de la Sycophancy (Adulación): Abordar el sesgo de los modelos para complacer al usuario a costa de la precisión, lo cual es crucial para mantener la confianza a largo plazo.

En conclusión, el paper argumenta que para que la colaboración humano-máquina sea efectiva, los LLM deben dejar de actuar como oráculos infalibles y comenzar a comportarse como interlocutores humanos honestos, capaces de expresar sus limitaciones de manera natural y contextualmente apropiada.