💻 computer science

DWIM: Towards Tool-aware Visual Reasoning via Discrepancy-aware Workflow Generation & Instruct-Masking Tuning

El artículo presenta DWIM, un marco novedoso que mejora el razonamiento visual compositivo mediante el empleo de la generación de flujos de trabajo conscientes de la discrepancia para extraer datos de entrenamiento viables y el ajuste fino de enmascaramiento de instrucciones para guiar a los modelos en la clonación de acciones de herramientas efectivas, superando así las limitaciones de los LLM congelados y logrando un rendimiento de vanguardia.

Autores originales: Fucai Ke, Vijay Kumar B G, Xingjian Leng, Zhixi Cai, Zaid Khan, Weiqing Wang, Pari Delir Haghighi, Hamid Rezatofighi, Manmohan Chandraker

Publicado 2026-02-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fucai Ke, Vijay Kumar B G, Xingjian Leng, Zhixi Cai, Zaid Khan, Weiqing Wang, Pari Delir Haghighi, Hamid Rezatofighi, Manmohan Chandraker

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de resolver un rompecabezas complejo, como averiguar exactamente cuántas manzanas hay en la foto de un huerto abarrotado o explicar por qué un perro lleva un sombrero. En el mundo de la Inteligencia Artificial, esto se llama Razonamiento Visual.

Durante mucho tiempo, la IA intentó hacer esto todo de una vez (como un humano que adivina la respuesta completa instantáneamente). Pero recientemente, una IA más inteligente comenzó a usar un enfoque de "cinturón de herramientas": descompone el problema en pequeños pasos, utilizando diferentes herramientas (como una calculadora, una lupa o un motor de búsqueda) para resolver cada pieza.

Sin embargo, había un gran problema con este nuevo enfoque. El "cerebro" de la IA (un Modelo de Lenguaje Extenso o LLM) estaba congelado. Era como un chef brillante que ha leído todos los libros de cocina pero que nunca ha cocinado realmente en una cocina con un conjunto específico de herramientas. Sabía cómo usar un cuchillo en teoría, pero cuando intentaba cortar un tomate, podía cortarse el dedo o dejar caer el cuchillo porque no entendía realmente cómo funcionaban las herramientas en la práctica.

El artículo presenta un nuevo sistema llamado DWIM (que significa Do What I Mean, aunque aquí es un acrónimo de su método específico). Piensa en DWIM como un instructor de cocina superinteligente que le enseña a la IA cómo usar sus herramientas realmente sin hacer un desastre.

Así es como funciona DWIM, desglosado en dos partes simples:

1. La estrategia de "Repensar" (Generación de flujo de trabajo consciente de la discrepancia)

Imagina que le estás enseñando a un robot a hornear un pastel.

La forma antigua: Le dices al robot: "Mezcla la harina, añade huevos, hornea". Si el robot quema el pastel porque el horno estaba demasiado caliente, el sistema antiguo simplemente dice: "Ese intento falló, deséchalo" e intenta de nuevo. Desperdicia mucho tiempo y datos.
La forma de DWIM: El robot tiene un botón de "Repensar". Si mezcla la masa y el comentario del horno dice: "Espera, la temperatura es incorrecta", el robot no se rinde simplemente. Se detiene, dice: "¡Oh, veo el error! El horno está demasiado caliente", y luego cambia su siguiente paso para corregirlo.

DWIM utiliza esta capacidad de "Repensar" para generar mejores datos de entrenamiento. En lugar de desechar los intentos fallidos, guarda los momentos en los que la IA se dio cuenta de que una herramienta no funcionaba y se corrigió a sí misma. Esto crea una biblioteca mucho más rica de "guías de cómo hacerlo", enseñando a la IA no solo qué hacer, sino cómo manejar las cosas cuando algo sale mal.

2. La estrategia de "Resaltar y Aprender" (Ajuste de Instrucción-Enmascaramiento)

Una vez que la IA tiene una biblioteca de estas historias de "Repensar", DWIM necesita enseñarle a la IA a recordar las partes buenas e ignorar las partes malas.

La forma antigua: Le muestras a la IA toda la historia de un desastre de repostería y le dices: "Memoriza toda esta secuencia". La IA podría aprender accidentalmente el error (como "poner el pastel en el horno a 500 grados") junto con el éxito.
La forma de DWIM: Imagina un juego de "Mad Libs" (completar textos). El profesor toma la historia, oculta (enmascara) los pasos exitosos (como "ajustar el horno a 350") y le pregunta a la IA: "Basado en el contexto, ¿qué debería haber pasado aquí?".
- Las partes que no fueron ocultadas (los errores y los momentos de "Repensar") se dejan visibles para que la IA pueda ver: "Oh, ese paso estuvo mal".
- Las partes ocultas son los movimientos "correctos" que la IA debe adivinar.

Esto obliga a la IA a concentrarse únicamente en las acciones efectivas y a aprender a ignorar el ruido. Es como estudiar para un examen practicando solo las preguntas que sacaste bien, mientras miras las respuestas incorrectas solo para entender por qué estaban mal, sin memorizarlas.

El Resultado

El artículo muestra que este método hace que la IA sea mucho mejor usando sus herramientas.

Antes: La IA era como un estudiante que conocía la teoría pero reprobaba el examen práctico porque no sabía cómo manejar las herramientas.
Después: La IA es como un chef experimentado que sabe exactamente qué herramienta agarrar, cómo usarla y cómo arreglarla si se rompe.

Los autores probaron esto en muchos rompecabezas visuales diferentes (contar objetos, responder preguntas sobre imágenes, encontrar cosas específicas en fotos). Descubrieron que su método, DWIM, superó a todos los métodos líderes anteriores, incluso cuando no se le dieron a la IA "hojas de trucos" (ejemplos) adicionales para mirar durante la prueba. Aprendió a ser más eficiente, cometió menos errores y pudo resolver problemas que nunca había visto antes.

En resumen: DWIM le enseña a la IA a dejar de adivinar a ciegas y empezar a aprender de sus propios errores en tiempo real, convirtiendo a un usuario de herramientas torpe en un maestro artesano.

Resumen Técnico: DWIM – Hacia un Razonamiento Visual con Conciencia de Herramientas

1. Planteamiento del Problema

El Razonamiento Visual (VR, por sus siglas en inglés) implica la construcción de representaciones detalladas de escenas y el razonamiento sobre ellas en pasos, una capacidad crucial para campos como la conducción autónoma y el análisis médico. Si bien los enfoques composicionales que aprovechan los Modelos de Lenguaje Extensos (LLMs) como planificadores para desglosar tareas en flujos de trabajo de utilización de herramientas han mostrado potencial, enfrentan cuellos de botella significativos:

Falta de Conciencia de las Herramientas: Los LLMs congelados, que se utilizan comúnmente como planificadores, carecen de un entrenamiento explícito para comprender las capacidades de las herramientas o generar flujos de trabajo efectivos. Dependen en gran medida del aprendizaje en contexto (in-context learning), lo cual es insuficiente para captar interacciones complejas de herramientas.
Fiabilidad y Ruido de las Herramientas: A diferencia de las herramientas deterministas en dominios basados en texto (por ejemplo, calculadoras), el VR depende de herramientas de percepción basadas en aprendizaje profundo que son propensas a imprecisiones y errores fácticos. En consecuencia, flujos de trabajo lógicamente sólidos suelen fallar en la práctica debido a errores inducidos por las herramientas.
Ineficiencia de Datos: Los métodos actuales a menudo dependen de una generación de flujos de trabajo "estándar" que descarta flujos de trabajo completos si el resultado final es incorrecto. Esto ignora el hecho de que los pasos intermedios podrían ser válidos. Además, el Ajuste Fino Supervisado (SFT) ingenuo sobre flujos de trabajo ruidosos provoca que los modelos clonen casos de uso de herramientas ineficaces y de error, reforzando los errores en lugar de corregirlos.
Limitaciones de Turno Único: Muchos métodos de VR composicionales existentes operan en un marco de turno único, lo que impide que el agente reciba retroalimentación iterativa del entorno para refinar su razonamiento.

2. Metodología: DWIM

Los autores proponen DWIM (Generación de Flujos de Trabajo con Conciencia de Discrepancia e Instrucción de Enmascaramiento), un marco diseñado para mejorar la conciencia de las herramientas y optimizar la utilización de datos de entrenamiento a través de dos componentes principales:

A. Generación de Flujos de Trabajo con Conciencia de Discrepancia

En lugar de un proceso de planificación estático de turno único, DWIM emplea un Marco Agente de Exploración Automática inspirado en ReAct y CodeAct, que presenta interacciones de múltiples turnos.

Mecanismo: El agente genera una secuencia de acciones (Pensamiento, Uso de Código/Herramienta, Hecho). Crucialmente, durante la fase de generación de datos de entrenamiento, la respuesta de referencia ( $y$ ) se proporciona como conocimiento previo.
Detección de Discrepancias: El LLM está condicionado a la respuesta esperada ( $y$ ) y a la retroalimentación real del entorno ( $e$ ). Si se detecta una discrepancia (por ejemplo, un error fáctual o una salida de herramienta inesperada) entre la retroalimentación y el resultado esperado, el modelo genera una acción de "Re-pensar" (Rethink).
Refinamiento: La acción de "Re-pensar" implica una descripción en lenguaje natural de la discrepancia y una sugerencia de uso de herramienta o paso alternativo. Esto permite al sistema rescatar flujos de trabajo que de otro modo serían descartados, aumentando efectivamente el conjunto de datos de entrenamiento válidos y enseñando al modelo a reconocer y corregir los fallos de las herramientas.

B. Ajuste Fino de Instrucción de Enmascaramiento (Instruct-Masking)

Una vez recopilado un conjunto de datos de flujos de trabajo (incluyendo aquellos con pasos de "Re-pensar"), el LLM se ajusta mediante una novedosa estrategia de Instrucción de Enmascaramiento.

Enmascaramiento Semántico: A diferencia del enmascaramiento a nivel de token (por ejemplo, BERT), este método enmascara acciones a nivel semántico. Las acciones efectivas (identificadas mediante la evaluación de la discrepancia) se enmascaran, mientras que las acciones ineficaces y sus descripciones de "Re-pensar" correspondientes permanecen sin enmascarar.
Objetivo Instruccional: Se instruye al modelo para que regenere las acciones efectivas enmascaradas. Esto obliga al modelo a aprender cómo realizar un uso exitoso de las herramientas en lugar de clonar ciegamente secuencias ruidosas completas.
Función de Pérdida: El entrenamiento minimiza una pérdida de log-verosimilitud negativa ponderada por recompensa, enfocando al modelo en reproducir los pasos efectivos mientras aprende a reconocer patrones de fallo a partir de los segmentos de "Re-pensar" no enmascarados.

3. Contribuciones Clave

Generación de Flujo de Trabajo con Conciencia de Discrepancia: El primer método conocido que evalúa la efectividad del uso de herramientas de VR durante la fase de generación. Al detectar discrepancias entre la retroalimentación de la herramienta y las respuestas esperadas, refina las acciones y aumenta la tasa de éxito de los flujos de trabajo generados, mejorando así la utilización de datos.
Ajuste Fino de Instrucción de Enmascaramiento: Un enfoque de ajuste fino novedoso que expande el tamaño de los flujos de trabajo entrenables. Expone al modelo a casos de error en las partes no enmascaradas mientras le instruye para clonar solo las acciones efectivas en las partes enmascaradas, mejorando significativamente la conciencia de las herramientas.
Rendimiento de Vanguardia (SOTA): Experimentos extensos demuestran que DWIM logra resultados superiores en múltiples tareas y conjuntos de datos, exhibiendo fuertes capacidades de generalización incluso sin ejemplos de aprendizaje en contexto.

4. Resultados Experimentales

Los autores evaluaron DWIM en seis conjuntos de datos que cubren Razonamiento de Sentido Común Visual (VCR), VQA de Conocimiento Externo (EKVQA), Comprensión de la Composicionalidad de Lenguaje-Visión (VLCU), Respuesta a Muestras Adversarias Visuales (VASA), Detección de Localización (GD) y Conteo Complejo (CCQ).

Rendimiento: DWIM alcanzó el rendimiento de vanguardia (SOTA) en todas las tareas. Comparado con otros enfoques composicionales (por ejemplo, VisRep, HYDRA), mostró una mejora absoluta promedio de más del 9.73%. Notablemente, DWIM superó a las líneas base de pocos disparos (few-shot) congelados incluso cuando estas líneas base utilizaban 10 disparos de aprendizaje en contexto, mientras que DWIM utilizó 0 disparos durante la evaluación.
Generalización: En evaluaciones de conjuntos de datos cruzados (entrenamiento en GQA, prueba en OKVQA, A-OKVQA, SugarCREPE, Winoground), DWIM demostró una fuerte generalización de cero disparos (zero-shot), superando a las líneas base por aproximadamente un 4.8% en promedio.
Utilización de Datos: El método de generación con conciencia de discrepancia aumentó la proporción de puntos de datos de entrenamiento que producen flujos de trabajo válidos en un 17.4% en GQA y un 17.1% en SugarCREPE en comparación con los métodos de generación estándar.
Eficiencia de la Herramienta: DWIM demostró una mayor eficiencia en el uso de herramientas, requiriendo un promedio de 1.74 usos de herramienta por muestra exitosa, en comparación con 2.49–3.26 para otros métodos.
Robustez: El método mostró una menor dependencia de la ingeniería de prompts humana y mantuvo el rendimiento incluso al utilizar una biblioteca de herramientas completa (no específica para la tarea), donde otros métodos sufrieron caídas significativas de rendimiento.
Agnosticismo de la Arquitectura Base: Las mejoras fueron consistentes en varias arquitecturas de LLM, incluyendo variantes de LLaMa-3.1, Mistral y Qwen2.5.

5. Significado y Reivindicaciones

El artículo afirma que DWIM aborda las limitaciones críticas de los LLMs congelados en el razonamiento visual al entrenarlos explícitamente para ser "conscientes de las herramientas". Al reconocer que las herramientas en el VR son imperfectas y que los flujos de trabajo pueden contener errores parciales, el método va más allá del paradigma binario de "éxito/fallo" de los enfoques anteriores.

Los autores enfatizan que su enfoque permite a los LLM:

Reconocer y describir errores fácticos en la retroalimentación del entorno.
Refinar el uso de herramientas dinámicamente a través de mecanismos de "Re-pensar".
Aprender de datos ruidosos sin reforzar comportamientos ineficaces.

En última instancia, DWIM se presenta como una solución robusta y generalizable que reduce la dependencia de la extensa ingeniería de prompts humana y de grandes conjuntos de datos anotados, ofreciendo un camino más eficiente hacia una comprensión visual compleja y similar a la humana.