💬 NLP

Repair, Not Improvement: Decomposing Constrained Decoding in Tool-Call Abstention

Este artículo demuestra que la decodificación restringida en escenarios de llamadas a herramientas a menudo falla al reparar errores de abstención porque el impacto negativo de imponer tokens de parada frecuentemente supera los beneficios de restringir las opciones de tokens, revelando finalmente que las afirmaciones previas sobre las diferencias de rendimiento específicas de cada lenguaje carecen de fundamento.

Autores originales: Janghoon Lee (Redrob)

Publicado 2026-08-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Janghoon Lee (Redrob)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Configuración: IA, Reglas y el Arte de Decir "No"

Imagina que estás enseñando a un robot muy entusiasta y superrápido a ser un asistente útil. Este robot es excelente escribiendo historias, resolviendo problemas matemáticos e incluso pretendiendo ser un mago. Pero hay un detalle: a veces, lo mejor que este robot puede hacer es admitir que no sabe la respuesta o que no debería hacer nada en absoluto. En el mundo de la IA, esto se llama "abstención". Si le pides a un robot que revise el clima, pero en realidad quieres saber un secreto legal, el robot debería decir: "No puedo ayudar con eso", en lugar de inventar con confianza una opinión legal falsa.

Para evitar que estos robots inventen historias disparatadas o rompan las reglas, los ingenieros utilizan un truco llamado "decodificación restringida". Piensa en esto como si le dieras al robot un libro de colorear estricto. En lugar de dejar que el robot dibuje en cualquier parte de la página, el libro de colorear solo tiene contornos específicos (como un formato JSON o una lista de herramientas permitidas) dentro de los cuales el robot tiene permitido colorear. Si el robot intenta dibujar fuera de las líneas, la computadora lo detiene inmediatamente. Durante mucho tiempo, los científicos pensaron que este truco era casi gratuito: hacía que las respuestas del robot parecieran perfectas y ordenadas sin dañar su capacidad cerebral real. Pero había un gran signo de interrogación colgando sobre una situación específica: ¿qué sucede cuando el robot necesita decir "No puedo hacer esto"? ¿Obliga el estricto libro de colorear al robot a elegir una herramienta incluso cuando no debería? Este artículo profundiza en esa pregunta exacta, probando si las reglas que hacen que las respuestas se vean bien realmente rompen la capacidad del robot para saber cuándo detenerse.

La Historia: Cuando las Reglas Rompen el Botón de "No"

Los investigadores de este artículo decidieron poner a prueba esta idea utilizando un experimento ingenioso. Tomaron varios modelos de IA (que van desde diminutos con 0.6 mil millones de "células cerebrales" hasta otros ligeramente más grandes con 4 mil millones) y les hicieron una pregunta simple: "¿Debería usar una herramienta, o debería simplemente decir 'Ninguna'?". Lo hicieron en dos idiomas, inglés y coreano, para ver si el idioma cambiaba el resultado.

Para entender exactamente qué estaba saliendo mal, no solo compararon respuestas "libres" con respuestas "restringidas". Añadieron un paso intermedio, como una obra de teatro de tres actos:

El Acto Libre: El robot responde como quiera, con mucho espacio para explicarse.
El Acto Corto: El robot responde en una sola línea, pero sigue siendo libre de decir lo que quiera. Esto pone a prueba si el simple hecho de cortar la explicación del robot afecta su precisión.
El Acto Restringido: El robot responde en una sola línea, pero se ve obligado a elegir de una lista estricta de herramientas (o "Ninguna"). Este es el método estándar de "decodificación restringida".

Al comparar estos tres actos, los científicos pudieron separar dos problemas diferentes: el costo de acortar el discurso del robot y el costo de obligarlo a elegir de una lista.

El Gran Descubrimiento: Reparación, No Mejora

Los resultados fueron sorprendentes y un poco contraintuitivos. El artículo encontró que cuando obligas a un robot a elegir de una lista estricta de herramientas, este no se vuelve realmente más inteligente a la hora de decidir cuándo decir "no". De hecho, para los modelos más pequeños, las reglas estrictas hicieron que fueran significativamente peores en la abstención. En un caso específico (el modelo diminuto de 0.6B en coreano), las reglas estrictas causaron una caída de 29.5 puntos porcentuales en la precisión en comparación con dejar que el robot hablara libremente.

Sin embargo, la historia se pone más interesante cuando observas por qué las reglas ayudaron en algunos casos. Los investigadores descubrieron que las reglas estrictas actuaron como un "kit de reparación" para respuestas desordenadas, no como una "mejora cerebral". Cuando el robot se vio obligado a elegir de la lista, dejó de producir texto ininteligible o ilegible. Convirtió el "sin sentido" en "respuestas que parecen correctas". Pero no convirtió las "decisiones erróneas" en "decisiones correctas".

Aquí está la parte crucial: los investigadores analizaron 698 instancias donde las reglas estrictas cambiaron una respuesta incorrecta en una correcta. Encontraron que 545 de esos casos fueron situaciones donde el robot originalmente no había producido ninguna respuesta legible en absoluto. Cero de ellos fueron casos donde el robot ya había tomado la decisión correcta pero fue bloqueado por el formato. Esto significa que las reglas no arreglaron el juicio del robot; solo arreglaron su caligrafía.

La Trampa Oculta: El Token de Parada vs. El Enum

El artículo también desglosó las reglas estrictas en dos partes para ver cuál era el villano:

El Token de Parada (Stop Token): Esta es la regla que dice: "Deja de escribir después de una línea".
El Enum: Esta es la regla que dice: "Solo puedes elegir de esta lista específica de herramientas".

Encontraron que estas dos partes estaban luchando entre sí. El "Token de Parada" (cortar la respuesta) fue en realidad el principal culpable, afectando la capacidad del robot para decir "Ninguna" en aproximadamente 20.0 puntos en algunos casos. El "Enum" (la lista de herramientas) intentó reparar esto añadiendo de vuelta unos 19.5 puntos de precisión. Cuando los pones juntos, casi se cancelan entre sí, dejando una pérdida neta mínima de 0.5 puntos.

Esto explica por qué estudios previos podrían haber pasado por alto el problema. Si solo miras el número final, parece que las reglas no hicieron mucho daño. Pero si miras bajo el capó, ves una pérdida masiva siendo ocultada por una reparación masiva. Las reglas no mejoraron la toma de decisiones del robot; simplemente parchearon el daño causado por acortar su discurso.

El Veredicto: No Esperes una Mejora Cerebral

El artículo concluye con una advertación clara para cualquiera que construya sistemas de IA. Si utilizas reglas de formato estrictas para que tu IA parezca profesional, no esperes que se vuelva mejor en saber cuándo no actuar. Las reglas harán que la salida se vea limpia y legible, pero no arreglarán a un robot que está confundido sobre si debe ayudar o no.

De hecho, el estudio sugiere que estas reglas podrían incluso empujar al robot a actuar más a menudo de lo que debería. Cuando el robot se ve obligado a elegir de una lista, tiende a mover su "línea de decisión" hacia la elección de una herramienta, incluso cuando la respuesta correcta es no hacer nada. Esto es peligroso para la seguridad: un robot que es obligado a elegir una herramienta podría llamar con confianza a una API de clima cuando le preguntas algo legal, simplemente porque las reglas no le dieron una forma clara de decir "No puedo".

Los investigadores probaron esto en diferentes modelos y lenguajes (inglés y coreano) y encontraron que el patrón se mantenía constante. Las reglas estrictas son excelentes para arreglar texto desordenado, pero no son una varita mágica para mejorar el juicio. Como dice el artículo, las reglas "hacen que la salida ilegible sea legible, lo cual vale la pena, y dejan el juicio donde lo encontraron". Por lo tanto, si quieres que tu IA sepa cuándo decir "no", no puedes confiar solo en una lista de verificación estricta; tienes que enseñarle al propio robot a saber cuándo detenerse.

Resumen Técnico: Reparación, no Mejora: Descomposición de la Decodificación Restringida en la Abstinencia de Llamadas a Herramientas

Declaración del Problema

Trabajos recientes sobre decodificación restringida (por ejemplo, Lee et al., 2026a) han establecido que las restricciones de formato (como los esquemas JSON) incurren en un costo de rendimiento, pero que la mayor parte de este costo proviene de las instrucciones del prompt y no de la imposición del decodificador. Sin embargo, ese trabajo previo excluyó explícitamente las llamadas a funciones (function calling) de sus conclusiones, señalando que las restricciones en este dominio codifican requisitos de corrección (que descartan respuestas específicas) en lugar de meras preferencias de presentación (que descartan formas específicas de escribir una respuesta).

Este artículo investiga el caso específico de la abstinencia de llamadas a herramientas: el escenario en el que un modelo debe declinar correctamente la llamada a cualquier herramienta cuando ninguna aplica. En este entorno, un decodificador restringido (limitado a un enum de nombres de herramientas más un token de abstinencia) enfrenta un desafío único. La restricción no solo formatea la salida; restringe el conjunto de posibles respuestas, potencialmente eliminando la decisión correcta de "no llamar a ninguna herramienta". La cuestión central es si la contribución del decodificador a la degradación del rendimiento es insignificante en este entorno, como sugiere el trabajo previo para otros formatos, o si es significativa porque la restricción interfiere directamente con el juicio del modelo.

Metodología

El estudio emplea un diseño experimental riguroso para aislar los efectos del decodificador del prompt y para separar los efectos de las restricciones de longitud de las restricciones léxicas.

Configuración Experimental

Modelos: Modelos Qwen3 de pesos abiertos (0.6B, 1.7B y 4B de parámetros).
Idiomas: Inglés y coreano.
Benchmark: MetaTool Task2, utilizando pares emparejados de ítems de "herramienta necesaria" y "abstinencia de herramienta". El conjunto de datos incluye 200 ítems de abstinencia y 200 ítems de herramienta necesaria donde las consultas son idénticas en ambas condiciones.
Calificación: Se adoptaron reglas deterministas estrictas de Lee et al. (2026b). Una abstinencia es correcta solo si la salida contiene el token de abstinencia y ningún nombre de herramienta (o un nombre de herramienta que aparezca después de este). Las salidas con múltiples candidatos se califican como incorrectas.

Diseño de Tres Condiciones

Para descomponer el "impuesto de la restricción", el autor ejecuta tres condiciones sobre prompts bytes-idénticos:

contract-free: Generación sin restricciones con un presupuesto de 256 tokens (permite explicaciones).
contract-short: Generación sin restricciones pero detenida en el primer salto de línea (elimina la capacidad de explicar, aislando el costo de la restricción de longitud).
constrained: Generación restringida a un enum de los 10 candidatos de herramientas más el token de abstinencia, detenida en el primer salto de línea.

Métricas y Descomposición

El autor define tres diferencias para aislar efectos específicos:

$\Delta_{length}$ : acc(short) - acc(free). Mide el costo de restringir la longitud de la salida (detenerse en la primera línea).
$\Delta_{mask}$ : acc(constrained) - acc(short). Mide el costo marginal de la gramática (el enum) dado que la longitud ya está controlada.
$\Delta_{total}$ : acc(constrained) - acc(free). El costo total de la decodificación restringida, que es la suma de los dos anteriores.

Este diseño permite al autor distinguir entre el costo de "formatear" (detenerse temprano) y el costo de "enmascarar" (restringir el conjunto de tokens).

Variable de Mecanismo

El estudio mide la masked_mass, definida como la masa de probabilidad que el modelo asigna a los tokens prohibidos por la gramática del enum en la condición sin restricciones. Esto es el complemento de la "masa factible" propuesta por Reddy et al. (2026).

Contribuciones Clave

Descomposición del Impuesto de la Restricción: El artículo demuestra que el costo total de la decodificación restringida en entornos de abstinencia de herramientas no es un único valor negativo, sino la suma de dos componentes con signos opuestos.
- El token de parada (restricción de longitud) a menudo causa una caída significativa en la precisión (por ejemplo, -20.0 puntos).
- La restricción de enum (enmascaramiento léxico) a menudo recupera una parte de esa pérdida (por ejemplo, +19.5 puntos).
- En consecuencia, el efecto total ( $\Delta_{total}$ ) puede ser cercano a cero o negativo, ocultando el hecho de que la gramática está activamente "reparando" el daño causado por la restricción de longitud en lugar de mejorar el juicio inherente del modelo.
Reparación vs. Mejora: El autor muestra que la restricción no mejora la capacidad de toma de decisiones del modelo. De las 698 abstenciones "reparadas" por la restricción (convertidas de incorrectas a correctas), 545 no tenían una respuesta legible en la salida sin restricciones, y 0 fueron casos donde el modelo había tomado la decisión correcta pero falló debido al formato. La restricción simplemente obliga al modelo a producir un token válido, recuperando la legibilidad pero no mejorando la lógica subyacente.
Cambio en el Límite de Decisión: Si bien la restricresión "repara" la legibilidad, también desplaza el límite de decisión. Frente a una línea base de generación libre, la restricción aumenta la precisión de la selección de herramientas pero disminuye la precisión de la abstinencia. Esto indica que la gramática empuja al modelo hacia la mención de una herramienta, incluso cuando la abstinencia es correcta.
Independencia del Idioma: Contrario a las hipótesis de que las distribuciones de probabilidad específicas de cada idioma podrían alterar el costo, el estudio encuentra que la estadística intra-ítem (comparando fallos entre idiomas en ítems que ambos lograron acertar sin restricciones) no muestra una diferencia significativa entre el coreano y el inglés. Sin embargo, la masa de probabilidad enmascarada no explica completamente la diferencia de idioma: en la regresión logística, el coeficiente del idioma excluyó el cero, lo que indica un efecto de idioma residual que la variable de masa no contabiliza.
Mecanismo No Lineal: La relación entre masked_mass y la penalización de abstinencia no es lineal. Existe un punto de ruptura aproximadamente en 0.480. Por debajo de este umbral, la masa predice poco sobre la penalización; por encima de él, la penalización aumenta drásticamente.

Resultados

Rendimiento de la Abstinencia: Contra la línea base de generación libre sin restricciones, $\Delta_{total}$ en la abstinencia es negativo (indicando una caída de rendimiento) con intervalos que excluyen el cero en cuatro de seis celdas de modelo/idioma, con una caída máxima de -29.5 puntos. Nunca es positivo con un intervalo que excluya el cero.
Descomposición: En el modelo más pequeño (0.6B) para coreano, el token de parada por sí solo cuesta -20.0 puntos, pero añadir el enum recupera +19.5 puntos, dejando un neto de -0.5. Esto confirma la hipótesis de "reparación": la gramática arregla el daño causado por el token de parada.
Selección de Herramientas: En los ítems de necesidad de herramienta, la restricción mejora consistentemente la precisión ( $\Delta_{total}$ positivo en todas las celdas), confirmando que la restricción ayuda cuando es necesaria una herramienta.
Afirmaciones de Idioma: Ambas afirmaciones pre-registradas sobre las diferencias de idioma no respaldaron la hipótesis inicial de un costo dependiente del idioma. La estadística intra-ítem no mostró una diferencia significativa entre el coreano y el inglés, y la masa de probabilidad enmascarada no absorbió la varianza que separa a los idiomas (el coeficiente del idioma siguió siendo significativo en la regresión).

Significado y Reivindicaciones

El artículo concluye que la imposición de restricciones "casi gratuita" encontrada en trabajos previos no se sostiene para la abstinencia de llamadas a funciones. El significado principal reside en la descomposición del efecto de la restricción:

Separación de Preocupaciones: El token de parada (control de longitud) y el enum (control léxico) son componentes separables con efectos opuestos. Un diseño de dos condiciones (comparando libre vs. restringido) los suma en un solo número, ocultando potencialmente una gran pérdida y una gran recuperación que se cancelan entre sí.
Naturaleza de la Ganancia: El beneficio de la decodificación restringida en este entorno es de forma, no de juicio. Hace que las salidas ilegibles sean legibles, pero no mejora la capacidad del modelo para decidir cuándo abstenerse. De hecho, puede degradar esa decisión al sesgar al modelo hacia la invocación de herramientas.
Implicación Práctica: Los profesionales deben reportar el token de parada y la gramática por separado. Confiar en una única métrica agregada puede llevar a la falsa conclusión de que la decodificación restringida es neutral o beneficiosa para la abstinencia, cuando en realidad puede estar dañando activamente la capacidad del modelo para declinar correctamente las llamadas a herramientas.

El artículo mantiene un alcance modesto, señalando que sus hallazgos son específicos para el entorno de abstinencia y el benchmark utilizado (donde la herramienta de oro es siempre el primer candidato, una propiedad que limita la generalización pero no afecta las diferencias medidas). No propone nuevos métodos de entrenamiento o arquitecturas, sino que proporciona un marco de medición para comprender mejor los costos de las restricciones actuales en tiempo de inferencia.