💬 NLP

HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning

Este artículo presenta HopRefusalBench, el primer benchmark diseñado para evaluar cómo los agentes con aumento de búsqueda gestionan preguntas de múltiples saltos que no tienen respuesta, revelando que, si bien los modelos a menudo pueden identificar la razón correcta de la falta de respuesta, frecuentemente fallan al comprometerse con una negativa adecuada, recurriendo en su lugar a alucinaciones o al agotamiento de los presupuestos de búsqueda.

Autores originales: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un detective superinteligente para resolver un misterio. Este detective tiene una biblioteca mágica a la que puede acudir instantáneamente, y es excelente conectando puntos entre diferentes libros para encontrar la respuesta. Así es como funcionan los agentes de IA modernos con "Búsqueda Aumentada": son modelos de lenguaje extensos que pueden salir, buscar en internet (o en una base de datos) y unir información para responder a tus preguntas. Por lo general, esto es increíble. Pero, ¿qué pasa cuando haces una pregunta que no puede ser respondida? Tal vez preguntas: "¿Quién es el actual rey de Francia?" (no lo hay), o "¿Cuál es el ingrediente secreto de un plato que no existe?".

En el mundo de la IA, saber cuándo no responder es tan importante como saber cómo responder. Si tu detective sigue excavando en la biblioteca, inventando un rey falso o desperdiciando horas buscando un ingrediente inexistente, no está siendo útil; está siendo obstinado y derrochador. Los científicos llaman a esto "rechazo" (refusal): la capacidad de decir: "No puedo responder esto porque la pregunta está rota". Si bien sabemos que estos detectives de IA están mejorando en la resolución de acertijos difíciles, no sabíamos realmente cómo se comportaban cuando el acertijo era imposible de resolver en primer lugar. ¿Se detenían rápido? ¿Se confundían? ¿O simplemente inventaban algo?

Este artículo presenta una nueva prueba llamada HopRefusalBench para determinar exactamente cómo estos detectives de IA manejan las preguntas imposibles. Los investigadores crearon 889 preguntas complicadas diseñadas para hacer tropezar a la IA. No se limitaron a hacer preguntas simples de "no lo sé"; construyeron misterios complejos de múltiples pasos donde la trampa podía estar al principio de las pistas, en medio de los indicios o justo al final. Querían ver si la IA se daría cuenta de que la pregunta estaba rota desde el principio, o si seguiría buscando y eventualmente alucinaría (inventaría) una respuesta.

Los resultados fueron un poco un llamado de atención. Incluso los modelos de IA más inteligentes de la prueba solo lograron detenerse correctamente y decir "no puedo responder esto" aproximadamente el 42.9% de las veces. Eso significa que más de la mitad de las veces, fallaron al darse cuenta de que la pregunta era imposible. El estudio encontró que los modelos de IA eran bastante buenos detectando por qué una pregunta estaba rota una vez que tenían la evidencia (más del 84% de las veces podían explicar la lógica), pero les costaba realmente comprometerse a detenerse. En lugar de decir "me rindo", a menudo seguían buscando hasta que se les agotaba el tiempo o la energía, o simplemente inventaban una respuesta falsa para satisfacer al usuario.

Los investigadores también descubrieron que dónde se colocaba la "trampa" en la pregunta importaba mucho. Era mucho más difícil para la IA detenerse cuando el problema estaba en medio de la cadena de razonamiento (como un puente roto entre dos islas) en comparación con cuando el problema estaba al final. Además, el tipo de pregunta imposible cambiaba la forma en que la IA fallaba: algunos modelos tendían a inventar hechos (alucinar), mientras que otros simplemente seguían buscando eternamente hasta que se agotaba su presupuesto.

En resumen, este artículo muestra que, si bien nuestros detectives de IA son cada vez mejores encontrando información, todavía son terribles para saber cuándo retirarse. A menudo se quedan atrapados en un bucle de búsqueda o empiezan a inventar cosas en lugar de admitir que la pregunta misma es defectuosa. Los autores sugieren que, para que estos agentes de IA sean verdaderamente confiables, necesitamos enseñarles no solo cómo buscar, sino cómo reconocer un callejón sin salida y detenerse antes de perder tiempo o difundir información errónea. La buena noticia es que ahora tenemos un mapa (HopRefusalBench) para ayudar a diagnosticar exactamente dónde están fallando y cómo solucionarlo.

Resumen Técnico: HopRefusalBench

Declaración del Problema
Los agentes de modelos de lenguaje extensos (LLM) aumentados por búsqueda son cada vez más eficaces para resolver tareas de conocimiento intensivo; sin embargo, su comportamiento al encontrarse con preguntas multi-salto fundamentalmente irresolubles sigue siendo poco comprendido. Los benchmarks existentes para la abstención exponen principalmente defectos en consultas de un solo salto o en el razonamiento superficial. No logran capturar los fallos que emergen solo después de que se ha producido un razonamiento y una recuperación válidos de pasos intermedios. En escenarios del mundo real, las consultas de los usuarios suelen contener premisas falsas, contextos subespecificados o respuestas desconocidas. Un agente fiable aumentado por búsqueda debería detectar estas condiciones de irresolubilidad durante la recuperación de múltiples pasos y responder con una no-respuesta (rechazo) epistémicamente apropiada. Sin embargo, los sistemas actuales suelen entrar en bucles de recuperación costosos, forzar conexiones rotas o alucinar respuestas debido a la "presión de completitud" generada por la evidencia de un prefijo válido.

Metodología: Construcción de HopRefusalBench
Los autores presentan HopRefusalBench, el primer benchmark controlado diseñado para diagnosticar fallos de rechazo dentro de la búsqueda multi-salto. El benchmark consta de 889 preguntas irresolubles construidas mediante un pipeline de cuatro etapas:

Anclaje de Semilla (Seed Grounding): Los autores seleccionan preguntas semilla de conjuntos de datos existentes (p. ej., CoCoNot, BIG-Bench, FalseQA) que requieren no-respuestas o aclaraciones. Estas se categorizan por tres causas de irresolubilidad:
- Respuesta Desconocida (AU): El hecho solicitado no está establecido o es incognoscible.
- Premisa Falsa (FP): La pregunta contiene un supuesto fácticamente incorrecto.
- Contexto Subespecificado (UC): Faltan calificadores necesarios.
Construcción de Rutas Guiada por KG: Utilizando el grafo de hipervínculos de Wikipedia KILT, los autores construyen cadenas de razonamiento válidas. Realizan un recorrido bidireccional: el recorrido de retroceso construye prefijos válidos hacia un "ancla hacia atrás" (backward anchor), y el recorrido de enlaces salientes extiende sufijos desde un "puente hacia adelante" (forward bridge). Esto asegura la continuidad semántica mientras se aísla el paso irresoluble.
Síntesis Controlada por Topología: La innovación central es el control sobre dónde la irresolubilidad interrumpe la cadena de razonamiento. El benchmark cruza las tres causas con tres topologías:
- Raíz (Root): La semilla irresoluble es el primer paso, enmascarada por una continuación plausible.
- Medio (Middle): El paso irresoluble actúa como un puente roto entre un prefijo válido y un sufijo dependiente.
- Terminal: El paso irresoluble aparece solo después de que un prefijo válido ha sido resuelto completamente.
Control de Calidad: Una auditoría de múltiples etapas asegura que los anclajes ocultos no se filtren, que la coherencia de la cadena se mantenga y que la causa original de la irresolubilidad se preserve sin que el modelo de fusión corrija accidentalmente la premisa.

Marco de Evaluación
Los autores proponen un marco de diagnóstico que evalúa tanto los resultados finales como las líneas de tiempo de evidencia conscientes de la fuente:

Taxonomía de Resultados Finales: Las respuestas se clasifican en Rechazo Correcto (Parada Consciente del Objetivo, TACH), Pseudo-rechazo (parada prematura, racional erróneo o racional poco informativo) y Alucinación (aceptar la premisa defectuosa) y Agotamiento de Búsqueda (consumir el presupuesto de búsqueda sin una decisión final).
Métricas Conscientes de la Fuente: El marco identifica el turno inicial ( $T_{trap}$ ) donde aparece la evidencia suficiente para el rechazo. Mide el Desperdicio de Tokens Post-Activación (PTTW) y la Tasa de Sobre-búsqueda Post-Activación (PTOS) para cuantificar la ineficiencia después de que el modelo podría haber parado.
Cambios Inducidos por la Búsqueda: Al comparar los modos de búsqueda aumentada y sin búsqueda, los autores miden cómo la búsqueda altera el comportamiento, calculando específicamente la Tasa de Anulación Inducida por Búsqueda (SIOR) (con qué frecuencia la búsqueda convierte un rechazo correcto en un fallo) y la Tasa de Rescate Inducida por Búsqueda (SIRR).

Resultos Clave
Los autores evaluaron diez modelos de frontera, tanto propietarios como de pesos abiertos (incluyendo GPT-5.4, Claude-Sonnet-5, Qwen3.5/3.6, Kimi-K2.5/2.6, DeepSeek-V4-Pro, y GLM-5.1/5.2) en modo de búsqueda aumentada:

Bajo Rendimiento General: El modelo con mejor desempeño logró una Tasa de Parada Consciente del Objetivo (TCHR) de solo el 42.9%.
La Búsqueda Desestabiliza el Rechazo: Para nueve de los diez modelos, la aumentación por búsqueda disminuyó la TCHR en comparación con el modo sin búsqueda. La búsqueda frecuentemente anula los rechazos correctos (20.4–67.3% de los casos) en lugar de rescatar los fallos (4.2–16.9%).
Dificultad por Topología y Causa:
- Los elementos Raíz y Medio son consistentemente más difíciles que los Terminales, lo que sugiere que los objetivos descendentes plausibles enmascaran los defectos tempranos de manera más efectiva.
- Los modelos funcionan mejor en Premisas Falsas (donde la recuperación puede contradecir directamente las afirmaciones) y peor en preguntas de Contexto Subespecificado (que invitan al agente a suministrar referentes plausibles).
Modos de Fallo Divergentes:
- Los modelos exhiben diferentes canales de fallo: algunos (p. ej., GPT-5.4) predominantemente alucinan respuestas a pesar de la evidencia, mientras que otros (p. ej., Qwen3.6-27B) tienden hacia el agotamiento de búsqueda.
- Compromiso vs. Reconocimiento: Un hallazgo crítico es que el 84.7–98.4% de las respuestas de tipo rechazo explícito identifican correctamente el racional. El cuello de botella principal no es el reconocimiento de la irresolubilidad, sino el compromiso con una no-respuesta.
Ineficiencia: Muchas trayectorias continúan buscando después de que se encuentra la evidencia suficiente, generando un desperdicio de tokens significativo (hasta 10,321 tokens post-activación en promedio para algunos modelos).

Significancia y Reivindicaciones
El artículo sostiene que HopRefusalBench establece el rechazo en la búsqueda multi-salto como un problema de evaluación trascendental. Proporciona una base para diagnosticar la fiabilidad separando el descubrimiento de evidencia, el compromiso de rechazo y el control del presupuesto de búsqueda. Los autores argumentan que los agentes actuales aumentados por búsqueda carecen de la capacidad coordinada para verificar premisas, decidir rechazar y controlar los presupuestos de búsqueda simultáneamente. El benchmark está disponible públicamente para facilitar la investigación futura en la mejora de la fiabilidad de los sistemas de búsqueda agénticos.

Más como este