Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

En el panorama de la inteligencia artificial, que evoluciona rápidamente, los grandes modelos de lenguaje se han convertido en herramientas poderosas para generar texto, responder preguntas y asistir en tareas complejas. Sin embargo, persiste un desafío constante: estos sistemas a veces producen respuestas que suenan seguras pero son fácticamente incorrectas, un fenómeno conocido como alucinación. Para los usuarios que dependen de estos modelos para tomar decisiones críticas, el peligro no radica solo en estar equivocado, sino en estar equivocado con absoluta certeza. Para abordar esto, los investigadores han buscado durante mucho tiempo formas de medir la incertidumbre de un modelo, preguntando esencialmente al sistema qué tan seguro está de su propio resultado. Los métodos tradicionales suelen proporcionar una única puntuación de confianza para toda una respuesta, de forma muy parecida a un pronóstico del tiempo que da una probabilidad para un día completo. Sin embargo, una sola respuesta puede contener una mezcla de hechos precisos y errores sutiles, lo que hace que una puntuación general única sea demasiado tosca para ser útil para alguien que necesita verificar detalles específicos antes de actuar.

Un nuevo estudio de Toghrul Abbasli y sus colegas de la Universidad de Tsinghua y otras instituciones propone un enfoque más granular para este problema. En lugar de tratar una respuesta como un único bloque de texto, los investigadores desarrollaron un método para descomponer cada respuesta en sus unidades de información más pequeñas e independientes, las cuales llaman afirmaciones atómicas. Luego, asignan una puntuación de confianza específica a cada una de estas afirmaciones individuales. El equipo probó esta técnica en varios modelos de lenguaje modernos, incluyendo sistemas de los principales desarrolladores, utilizando dos tipos distintos de conjuntos de preguntas: uno centrado en el conocimiento factual general y otro diseñado para engañar a los modelos haciéndoles aceptar premisas falsas. Sus hallazgos sugieren que, al aislar y calibrar la confianza a nivel de afirmación, es posible crear una señal mucho más fiable para los responsables de la toma de decisiones. Este enfoque permite a los usuarios aceptar las partes de una respuesta que es muy probable que sean ciertas, mientras se señalan oraciones específicas para su revisión o rechazo, ofreciendo un camino práctico hacia una inteligencia artificial más segura y confiable en entornos de alto riesgo.

El núcleo del trabajo de los investigadores involucra un proceso de varios pasos que opera sin necesidad de modificar el funcionamiento interno de los modelos de lenguaje mismos. Primero, el sistema genera una respuesta a la pregunta de un usuario. A continuación, una herramienta auxiliar descompone esta respuesta en enunciados cortos y autónomos, tales como "Einstein propuso la teoría de la relatividad" o "Esto ocurrió en 1905". Una vez que la respuesta se descompone, el sistema evalúa cada enunciado individualmente. Utiliza dos señales principales para determinar qué tan seguro debería estar el modelo de cada afirmación. La primera señal proviene de la propia autoevaluación o la confianza verbalizada del modelo, donde se le pide al modelo que declare qué tan seguro está. La segunda señal se basa en la consistencia; el sistema genera múltiples variaciones de la respuesta y comprueba si la misma afirmación aparece en todas ellas. Si una afirmación se repite en diferentes intentos, se trata como más fiable. Estas dos señales se combinan para producir una puntuación de confianza final para cada afirmación específica.

Para asegurar que estas puntuaciones sean significativas, los investigadores aplicaron un proceso estadístico llamado calibración post-hoc. Este paso ajusta los números de confianza brutos para que se alineen con la realidad. Por ejemplo, si el sistema asigna una confianza del 90 por ciento a un conjunto de afirmaciones, la calibración asegura que aproximadamente el 90 por ciento de esas afirmaciones sean realmente correctas. El estudio probó este marco de trabajo en seis modelos de lenguaje diferentes, que van desde sistemas de código abierto hasta modelos comerciales propietarios, a través de miles de preguntas. Los resultados mostraron que este enfoque a nivel de afirmación redujo significativamente la tasa de error en la estimación de la confianza en comparación con los métodos que solo observaban la respuesta como un todo. En las preguntas factuales, las puntuaciones calibradas se volvieron mucho más precisas, lo que significa que cuando el sistema decía estar seguro al 90 por ciento, era de hecho correcto el 90 por ciento de las veces. Esta precisión permite a un usuario humano tomar una decisión concreta: pueden confiar en las afirmaciones de alta confianza de inmediato, mientras dirigen su atención a las de baja confianza para su verificación.

Sin embargo, el estudio también identificó un límite claro donde este método enfrenta limitaciones. Cuando las preguntas fueron diseñadas con premisas falsas —trampas que asumen que algo no verdadero es un hecho—, los modelos a menudo generaron afirmaciones fluidas, seguras pero enteramente incorrectas. En estos escenarios adversos, las puntuaciones de confianza a nivel de afirmación a veces no lograron detectar el error porque el modelo era internamente consistente en su error. Los investigadores encontraron que, si bien su método sobresalía al clasificar respuestas mixtas que contenían información tanto correcta como incorrecta, no siempre podía superar a un modelo que estaba erróneamente seguro sobre un hecho fundamental. En tales casos, el estudio sugiere que las puntuaciones de confianza por sí solas son insuficientes; es necesario un control externo, como una búsqueda de evidencia o un contrainterrogatorio por parte de otro sistema, para detectar estos errores profundos.

La implicación práctica de este trabajo es un cambio en cómo podríamos interactuar con la inteligencia artificial en entornos profesionales. En lugar de aceptar o rechazar una respuesta completa basándose en un vago sentido de confianza, los responsables de la toma de decisiones pueden ahora confiar en un mapa detallado de fiabilidad. Un informe médico generado por una IA, por ejemplo, podría aceptarse por su estructura general, mientras que detalles específicos de la dosis de un fármaco o el historial del paciente podrían ser señalados para revisión humana basándose en sus puntuaciones de confianza individuales. Los investigadores enfatizan que esta técnica funciona incluso con modelos de "caja cerrada", donde la mecánica interna está oculta, lo que la hace aplicable a los sistemas comerciales más avanzados actualmente en uso. Si bien el método no resuelve el problema de la alucinación por completo, particularmente cuando los modelos son engañados por suposiciones falsas, proporciona una herramienta robusta para gestionar la incertidumbre. Al descomponer la caja negra de la salida de un modelo de lenguaje en piezas verificables, el estudio ofrece una forma de tomar decisiones de alto riesgo con una comprensión más clara de qué se puede confiar y qué requiere mayor investigación.