SketchVLM: Vision language models can annotate images to explain thoughts and guide users

1. El Problema: La "Caja Negra" de las respuestas textuales

Los modelos de visión actuales (como GPT-4 o Gemini) suelen responder a consultas visuales complejas mediante bloques de texto. Esto presenta dos problemas principales:

• Dificultad de verificación: Para el usuario es difícil confirmar si el modelo está "mirando" el objeto correcto o si su razonamiento espacial es preciso.
• Falta de guía visual: En tareas de asistencia (ej. "cómo revisar el aceite de un coche"), el texto es menos intuitivo que señalar físicamente el componente en la imagen.
• Limitaciones de otros métodos: Los modelos de edición de imágenes suelen alterar la imagen original (perdiendo fidelidad), y los modelos especializados en dibujo suelen carecer de la capacidad de razonamiento general de los modelos de frontera.

2. Metodología: Un enfoque Training-Free y Agnóstico

A diferencia de otros modelos que requieren un reentrenamiento costoso, SketchVLM es un sistema sin entrenamiento (training-free) que utiliza el potencial de los VLMs existentes. Su arquitectura se basa en tres componentes:

1. Prompting Visual (Grid Prompting): Se añade una cuadrícula de coordenadas $x-y$ a los bordes de la imagen de entrada. Esto ayuda al modelo a referenciar posiciones espaciales con alta precisión.
2. System Prompting Estructurado: Se instruye al modelo para que genere una secuencia de trazos en un formato XML específico (etiquetas <s1>, <s2>, etc.). El modelo debe describir puntos, valores de tiempo ($t$) y tipos de formas (líneas, curvas de Bézier, rectángulos, texto).
3. Conversión XML-a-SVG: Un motor de renderizado procesa la salida de texto del modelo y la convierte en una capa de gráficos vectoriales (SVG) que se superpone a la imagen original de forma no destructiva.

El sistema permite tanto la generación de un solo turno (toda la explicación de una vez) como de múltiples turnos (interacción iterativa donde el modelo dibuja un trazo a la vez, simulando una conversación humana).

3. Contribuciones Clave

• Anotaciones no destructivas: Al usar SVG, la imagen original permanece intacta, lo que mantiene la confianza del usuario.
• Generalización superior: Al no estar entrenado para una tarea específica, el modelo puede saltar de resolver un laberinto a etiquetar partes de un motor sin perder capacidad de razonamiento.
• Fidelidad y Alineación: El sistema garantiza que lo que el modelo "dice" en texto coincida con lo que "dibuja" en la imagen (alta alineación anotación-texto).

4. Resultados Principales

Los autores evaluaron el sistema en siete tareas (razonamiento visual y dibujo) comparándolo con modelos de edición de imágenes y modelos especializados (fine-tuned). Los hallazgos fueron:

• Precisión en Razonamiento: SketchVLM mejoró la precisión en tareas de razonamiento visual hasta en +28.5 puntos porcentuales en comparación con los métodos de dibujo especializados.
• Calidad de Anotación: Superó a los modelos de edición en calidad de anotación en un 1.48×.
• Fallo de los modelos especializados: Se demostró que los modelos entrenados específicamente para dibujar (como ViLaSR o ThinkMorph) fallan al intentar generalizar a tareas de física o razonamiento que no vieron en su entrenamiento.
• Eficiencia: La generación de un solo turno es casi tan precisa como la de múltiples turnos, pero es significativamente más rápida.

5. Significado e Impacto

SketchVLM representa un avance hacia la IA Explicable (XAI). Al permitir que la IA "muestre" su pensamiento en lugar de solo "decirlo", se reduce la brecha de confianza entre humanos y máquinas. Este enfoque tiene aplicaciones críticas en:

• Asistentes de mantenimiento y tutoriales: Guía paso a paso en entornos físicos.
• Accesibilidad: Ayuda a usuarios a comprender interfaces complejas mediante señales visuales claras.
• Colaboración Humano-IA: Abre la puerta a sistemas donde el usuario puede corregir o pedir aclaraciones sobre los trazos realizados por la IA.