💻 computer science

Uncertainty Quantification for LLM Function-Calling

Este trabajo presenta la primera evaluación de los métodos de cuantificación de la incertidumbre en la llamada a funciones de los LLM, descubriendo que las técnicas de múltiples muestras no superan significativamente a las de una sola muestra, pero que ambas pueden mejorarse aprovechando las particularidades estructurales y semánticas de las salidas de dichas funciones.

Autores originales: Zihuiwen Ye, Lukas Aichberger, Michael Kirchhof, Sinead Williamson, Luca Zappella, Yarin Gal, Arno Blaas, Adam Golinski

Publicado 2026-04-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zihuiwen Ye, Lukas Aichberger, Michael Kirchhof, Sinead Williamson, Luca Zappella, Yarin Gal, Arno Blaas, Adam Golinski

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Dilema del Robot con la Tarjeta de Crédito: ¿Cómo saber si una IA está "adivinando"?

Imagina que tienes un robot asistente en casa. No solo te dice el clima, sino que tiene permiso para usar tu tarjeta de crédito para comprar comida o para borrar archivos de tu computadora si se lo pides.

El problema es que, a veces, los modelos de lenguaje (como ChatGPT) pueden cometer errores. Si le pides: "Compra 10 kilos de manzanas" y el robot entiende "Compra 100 kilos de manzanas", el error es costoso y difícil de revertir.

Este estudio trata sobre cómo medir la "incertidumbre" de la IA. Es decir, cómo lograr que el robot nos diga: "Oye, no estoy muy seguro de haber entendido bien la orden, ¿podrías confirmarme antes de que presione el botón de comprar?".

1. El problema: El "Efecto de la Respuesta Automática"

Los investigadores se dieron cuenta de algo curioso. En tareas normales (como escribir un poema), si le pides a la IA que genere varias opciones, puedes comparar las respuestas para ver si todas dicen lo mismo. Si todas dicen "Hola", la IA está segura; si una dice "Hola" y otra "Adiós", la IA está confundida. A esto se le llama Entropía Semántica.

Sin embargo, cuando la IA tiene que usar "funciones" (como llamar a una aplicación o ejecutar un código), las reglas cambian. La IA es tan precisa con el código que, aunque se equivoque, sus respuestas suelen parecerse mucho entre sí en la superficie, lo que engaña a los métodos tradicionales de medición de confianza. Es como si un estudiante te diera tres respuestas casi idénticas, pero todas con un error matemático sutil; si solo comparas si las respuestas "se parecen", pensarás que el estudiante sabe mucho, cuando en realidad está equivocado en lo importante.

2. El gran descubrimiento: "Menos es más"

Los científicos probaron métodos muy complejos y costosos (que requieren que la IA piense muchas veces la misma respuesta) y descubrieron que no funcionaban mejor que los métodos simples.

Es como si para saber si un chef está seguro de un plato, intentaras hacerle 10 exámenes distintos (método complejo) en lugar de simplemente mirar qué tan seguro se ve cuando pone la sal (método simple). El estudio demostró que mirar la "probabilidad" de las palabras que la IA elige en su primer intento (un método llamado G-NLL) es, sorprendentemente, una de las mejores formas de saber si va a meter la pata.

3. La solución: "Filtrar el ruido"

Aquí es donde la investigación se pone brillante. Los autores descubrieron que la IA gasta mucha "energía de duda" en cosas que no importan.

Imagina que estás dictando una dirección. Si la IA duda entre escribir un paréntesis ( o un corchete [, es una duda técnica de escritura, pero no cambia el destino del paquete. Pero si duda entre el número de la calle o el nombre de la ciudad, ¡eso es vital!

Los investigadores crearon un método llamado SMT (Tokens Semánticamente Significativos). Básicamente, le enseñaron al sistema de seguridad a ignorar las dudas sobre la gramática o los símbolos y a enfocarse solo en las dudas sobre los datos importantes (nombres, cantidades, fechas).

En resumen:

El estudio nos dice que para que los robots y la IA sean seguros en el mundo real:

No necesitamos complicarnos la vida con simulaciones infinitas; a veces, observar la confianza inicial es suficiente.
Debemos enseñar a la IA a distinguir entre "dudar de la ortografía" y "dudar de la información".

Si logramos que la IA sepa cuándo está "adivinando" los datos importantes, podremos usarla para tareas reales (como mover dinero o gestionar bases de datos) con mucha más tranquilidad.

1. El Problema: Riesgos de la Autonomía en LLMs

Con el avance de los Modelos de Lenguaje de Gran Escala (LLMs), estos han pasado de ser simples generadores de texto a sistemas capaces de interactuar con el mundo real mediante la Llamada a Funciones (Function-Calling, FC). Este paradigma permite a los modelos ejecutar herramientas, consultar bases de datos o realizar transacciones financieras.

Sin embargo, surge un riesgo crítico: un error en la generación de texto es trivial, pero un error en una llamada a una función (por ejemplo, borrar datos o transferir dinero incorrectamente) puede tener consecuencias irreversibles. Para mitigar esto, es vital que el modelo pueda cuantificar su propia incertidumbre (confianza) antes de ejecutar una acción. Si la incertidumbre es alta, el sistema debería abstenerse o pedir supervisión humana. El problema es que no existen evaluaciones sistemáticas ni métodos de Cuantificación de la Incertidumbre (UQ) diseñados específicamente para la naturaleza estructurada de las llamadas a funciones.

2. Metodología

Los autores proponen el primer benchmark dedicado a evaluar métodos de UQ en escenarios de tool-use.

Benchmark: Utilizan el Berkeley Function Calling Leaderboard (BFCL), centrándose en tareas de Python, para evaluar cómo los puntajes de incertidumbre discriminan entre llamadas correctas e incorrectas.
Métricas de Evaluación: Utilizan el AUROC (Área bajo la curva ROC) para medir la capacidad de los métodos para clasificar correctamente las respuestas (donde 0.5 es azar y 1.0 es perfección) y el smoothECE para evaluar la calibración (qué tan bien el puntaje de confianza refleja la probabilidad real de acierto).
Métodos de UQ evaluados:
- Single-sample (Muestra única): Basados en los logits de la respuesta generada de forma codiciosa (greedy), como el promedio (AVG), el máximo NLL (MAX) y la suma de NLL (G-NLL).
- Multi-sample (Múltiples muestras): Basados en generar múltiples respuestas con temperatura $T=1$ para calcular la entropía semántica (SE) o la entropía predictiva (PE).
- Otros: Métodos basados en prompting como $P_{true}$ .

3. Contribuciones Clave

Primer Benchmark de UQ para FC: Un marco de evaluación que permite medir tanto la precisión del modelo como la utilidad de su incertidumbre.
Descubrimiento de la Ineficacia de Métodos Complejos: Demuestran que, a diferencia de la generación de lenguaje natural, los métodos de múltiples muestras (como la Entropía Semántica) no superan a los métodos simples de una sola muestra en el contexto de llamadas a funciones.
Adaptación de Métodos mediante AST: Proponen mejorar la agrupación de muestras utilizando Árboles de Sintaxis Abstracta (AST) para reconocer que dos llamadas son semánticamente idénticas aunque varíen en espacios o el orden de los argumentos.
Introducción de SMT (Semantically Meaningful Tokens): Desarrollan un método para que los modelos de una sola muestra ignoren tokens sintácticos irrelevantes (como = o [ ) y se centren solo en tokens con peso semántico (nombres de funciones, parámetros y valores), mejorando significativamente el rendimiento.

4. Resultados Principales

Superioridad de G-NLL: El método de una sola muestra G-NLL (suma de log-verosimilitud negativa) resultó ser el más robusto y eficaz para discriminar errores.
Fallo de la Entropía Semántica (SE): En FC, los modelos suelen asignar probabilidades muy altas ( $\approx 1.0$ ) a casi todos los tokens, incluso en respuestas erróneas. Esto hace que múltiples muestras generen clusters casi idénticos, lo que reduce la utilidad de la entropía semántica.
Mejora mediante SMT: Al aplicar el filtro de Tokens Semánticamente Significativos (SMT), el método G-NLL mejoró su AUROC y su calibración en casi todas las tareas, demostrando que la estructura de la función es la clave para una mejor UQ.
Capacidad de Abstinencia: Los resultados de las curvas de risk-coverage muestran que, al usar los métodos de UQ para decidir no ejecutar funciones inciertas, la precisión del sistema aumenta drásticamente (por ejemplo, de un 79% a un 86% en tareas complejas).

5. Significancia

Este trabajo es fundamental para el despliegue seguro de Agentes de IA autónomos. Establece que para que un agente sea confiable al usar herramientas, no basta con que sea preciso; debe tener mecanismos de UQ eficientes. La investigación sugiere que, para aplicaciones en dispositivos (donde el cómputo es limitado), es preferible optimizar métodos de una sola muestra adaptados a la sintaxis de la función (como SMT) en lugar de intentar implementar costosos métodos de múltiples muestras.