CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

CogFlow es un marco de tres etapas inspirado en la cognición humana que mejora la resolución de problemas matemáticos visuales mediante la internalización de conocimientos y recompensas visuales sinérgicas para garantizar una integración fiel de la percepción en el razonamiento, respaldado por un nuevo conjunto de datos llamado MathCog.

Lo esencial

¡Claro que sí! Imagina que tienes un amigo muy inteligente, pero un poco distraído, al que le encanta resolver acertijos matemáticos que vienen con dibujos. A veces, este amigo ve el dibujo, pero luego, al intentar explicarte la solución, se inventa cosas que no están en la imagen o se confunde con los números.

El paper que me has pasado habla de una nueva forma de enseñar a estas "máquinas inteligentes" (llamadas Modelos de Lenguaje Multimodales) a resolver problemas matemáticos visuales de verdad. Se llama COGFLOW.

Aquí te lo explico como si fuera una historia de tres actos, usando analogías sencillas:

El Problema: El "Viajero de las Ilusiones"

Antes, estas máquinas funcionaban de dos formas:

1. Saltando todo de golpe: Miraban el dibujo y daban la respuesta de inmediato. A menudo fallaban porque no veían bien los detalles.
2. Separando las tareas: Primero describían el dibujo y luego pensaban la solución. Pero aquí surgía un problema: ¡la máquina se "desconectaba"! Veía algo en el dibujo (por ejemplo, un triángulo), pero en su explicación hablaba de un cuadrado. Era como si un chef leyera la receta de una pizza, pero luego cocinara una ensalada sin darse cuenta. A esto lo llaman "Deriva del Razonamiento" (Reasoning Drift).

La Solución: COGFLOW (El Método de los Tres Pasos)

Los autores dicen: "¡Espera! Los humanos no hacemos eso. Cuando vemos un problema, no saltamos directo a la respuesta. Pasamos por un proceso mental".

COGFLOW imita la forma en que funciona nuestro cerebro en tres etapas:

1. La Etapa de "Mirar con Lupa" (Percepción)

Imagina que tienes que describir un mapa del tesoro a un amigo.

• Lo que hacían antes: Decían "Aquí hay una montaña".
• Lo que hace COGFLOW: Usa unas "gafas mágicas" (llamadas Recompensas Visuales Sinérgicas) para no solo decir "hay una montaña", sino medir exactamente dónde está, qué tan alta es y qué forma tiene.
• La analogía: Es como si, en lugar de decir "hay un perro", dijeras: "Es un perro marrón, de 50 cm de altura, con una mancha blanca en la oreja izquierda". COGFLOW asegura que la descripción sea exacta y no inventada.

2. La Etapa de "El Traductor Interno" (Internalización de Conocimiento)

Esta es la parte más genial y nueva del paper.

• El problema: Incluso si ves el perro perfectamente, puedes olvidar que es un perro y empezar a hablar de un gato en tu mente.
• La solución de COGFLOW: Antes de empezar a resolver el problema, la máquina tiene que "traducir" lo que vio a un lenguaje interno sólido.
• La analogía: Imagina que eres un arquitecto. Primero ves los ladrillos (percepción). Luego, antes de construir, tienes que asentar esos ladrillos en tu mente y decirte: "Estos ladrillos forman una pared, no un techo". COGFLOW tiene un "entrenador" (llamado Recompensa de Internalización) que le grita: "¡Oye! Si el dibujo dice que es un círculo, no empieces a razonar como si fuera un cuadrado". Esto evita que la máquina se invente cosas.

3. La Etapa de "El Portero Estricto" (Razonamiento)

• El problema: A veces, la máquina empieza a razonar bien, pero se desvía y toma un atajo que parece lógico pero es falso.
• La solución de COGFLOW: Usa un "Portero Visual" (Visual Gate).
• La analogía: Imagina que la máquina es un estudiante que quiere entrar al examen. El Portero Visual revisa sus apuntes de la etapa 1 y 2. Si el estudiante dice: "Miré el dibujo y vi un círculo", pero sus apuntes dicen "vi un cuadrado", ¡el Portero le cierra la puerta! Le dice: "Vuelve a mirar, no puedes razonar si no estás seguro de lo que ves". Solo deja pasar las soluciones que están firmemente ancladas en la realidad del dibujo.

El Entrenamiento: El Gimnasio MATHCOG

Para que esta máquina aprenda, los autores crearon un nuevo gimnasio llamado MATHCOG.

• Es como un libro de ejercicios donde no solo hay la pregunta y la respuesta, sino que también hay una sección obligatoria de "Lo que vi" y "Cómo lo entendí".
• Además, el libro incluye "trampas" (ejemplos donde la máquina se equivoca) para que aprenda a no caer en ellas.

¿Qué resultado dio todo esto?

Cuando probaron a COGFLOW en exámenes difíciles de matemáticas visuales:

• Acierto: Resolvió muchos más problemas correctamente que las máquinas anteriores.
• Coherencia: Sus explicaciones tenían sentido y coincidían con lo que realmente se veía en el dibujo.
• Eficiencia: Incluso con un tamaño de cerebro (modelo) similar a otros, COGFLOW rindió tan bien como máquinas mucho más grandes y costosas.

En resumen

COGFLOW es como enseñar a un estudiante a resolver problemas no solo dándole la respuesta, sino obligándolo a:

1. Ver los detalles con lupa.
2. Asentar esos detalles en su memoria antes de pensar.
3. Verificar constantemente que su pensamiento no se aleje de la realidad del dibujo.

Gracias a esto, la máquina deja de "alucinar" soluciones y empieza a razonar de verdad, tal como lo haría un humano muy atento.

Resumen técnico

Resumen Técnico: COGFLOW - Puenteando la Percepción y el Razonamiento mediante Internalización de Conocimiento para la Resolución de Problemas Matemáticos Visuales

1. El Problema: La Deriva del Razonamiento (Reasoning Drift)

A pesar de los avances en los Modelos de Lenguaje Grandes Multimodales (MLLMs), estos continúan luchando con problemas matemáticos visuales complejos (como geometría y diagramas). El paper identifica un cuello de botella crítico que los trabajos anteriores han pasado por alto:

• Limitación de enfoques actuales: Muchos métodos se centran en mejorar la extracción de información visual (percepción) o en el razonamiento por separado. Sin embargo, ignoran si las pistas visuales extraídas se integran fielmente en el proceso de razonamiento posterior.
• Deriva del Razonamiento: Se observa que, incluso cuando un modelo extrae información visual correctamente, a menudo genera cadenas de razonamiento que parecen lógicas pero que contradicen la evidencia visual subyacente. Esto se debe a que el modelo "salta" a conclusiones basadas en patrones textuales en lugar de anclar su lógica en los datos visuales percibidos.
• Falta de Internalización: Los modelos no tienen una etapa explícita para transformar señales perceptuales de bajo nivel en representaciones de conocimiento estructuradas y semánticamente fundamentadas antes de razonar.

2. Metodología: COGFLOW

COGFLOW es un marco de aprendizaje por refuerzo (RL) inspirado en la cognición humana, que simula un flujo jerárquico de tres etapas: Percepción ⇒ Internalización ⇒ Razonamiento.

A. El Marco de Tres Etapas

1. Percepción: Extracción de primitivas visuales (puntos, líneas, círculos) y sus relaciones.
2. Internalización de Conocimiento: Transformación de las señales perceptuales en una representación estructurada y lista para el razonamiento (ej. convertir coordenadas de un diámetro en la propiedad geométrica "ángulo inscrito es 90°").
3. Razonamiento: Inferencia lógica basada estrictamente en la representación internalizada.

B. Componentes Clave del Entrenamiento

1. Recompensas Visuales Sinérgicas (Synergistic Visual Rewards - SynVRs)

Para mejorar la percepción en el espacio paramétrico y semántico, COGFLOW utiliza dos recompensas complementarias:

• Recompensa Visual Parametrizada (VPR): Evalúa la precisión geométrica local. Convierte las primitivas visuales en expresiones paramétricas (ej. ecuaciones de círculos) y calcula la distancia euclidiana en el espacio de parámetros entre la predicción y la verdad fundamental (Ground Truth), utilizando el algoritmo húngaro para la correspondencia óptima.
• Recompensa Visual Semántica (VSR): Evalúa la coherencia global del estilo y el diseño. Renderiza la respuesta del modelo en una imagen y compara sus embeddings semánticos (usando FG-CLIP) con la imagen de referencia, midiendo la similitud coseno.
• Objetivo: Asegurar tanto la fidelidad geométrica local como la coherencia perceptual global.

2. Recompensa de Internalización de Conocimiento (Knowledge Internalization Reward - IntlzR)

Esta es la contribución central para mitigar la deriva del razonamiento.

• Función: Un modelo de recompensa entrenado que evalúa si la cadena de razonamiento es fiel a la representación visual internalizada.
• Mecanismo: Se entrena con pares de trayectorias positivas y negativas. Las trayectorias negativas se sintetizan inyectando cinco tipos de errores comunes:
  1. Omisión o vinculación incorrecta de primitivas.
  2. Introducción de hechos inexistentes.
  3. Contradicción de restricciones geométricas.
  4. Invocación inapropiada de teoremas externos.
  5. Referencia inconsistente a elementos establecidos.
• Optimización: Se utiliza Softmax-DPO para optimizar el modelo, permitiendo que la recompensa penalice fuertemente las trayectorias que se desvían de la evidencia visual, incluso si el razonamiento parece coherente textualmente.

3. Optimización de Política con Puerta Visual (Visual-Gated Policy Optimization - VGPO)

Para estabilizar el razonamiento de múltiples pasos y evitar que el modelo aprenda atajos visuales:

• Puerta Visual (Visual Gate): Antes de generar la cadena de razonamiento, el modelo genera múltiples trayectorias de percepción. La puerta visual evalúa la calidad de cada una (usando SynVRs) y filtra aquellas que no superan un umbral de calidad. Solo las percepciones de alta calidad pasan a la etapa de razonamiento.
• Regeneración: Si una trayectoria de percepción es filtrada, el modelo regenera una alternativa hasta encontrar una de alta calidad.
• Objetivo: Anclar el proceso de razonamiento en la precisión perceptual, asegurando que el modelo "vea correctamente" antes de "razonar".

C. Dataset MATHCOG

Para entrenar este marco, los autores crearon MATHCOG, un nuevo dataset con más de 120,000 muestras.

• Características: Disocia explícitamente la percepción ("Watching") del razonamiento ("Thinking").
• Estructura: Incluye anotaciones alineadas de percepción-reasoning y subconjuntos específicos para SFT (Fine-tuning Supervisado), RL (Reinforcement Learning) y entrenamiento de IntlzR (con pares positivos/negativos).

3. Resultados Experimentales

COGFLOW fue evaluado en múltiples benchmarks de razonamiento matemático visual (FlowVerse, MathVerse, MathVista, WeMath, DynaMath, LogicVista).

• Rendimiento Superior: COGFLOW (con base Qwen2.5-VL-7B) superó consistentemente a todos los modelos de código abierto de tamaño comparable y logró resultados competitivos o superiores a modelos cerrados de tamaño mucho mayor (como GPT-4o, Gemini-2.5-pro, Claude-3.5-Sonnet).
  • Ejemplo: En FlowVerse, alcanzó un 66.0% de precisión (vs. 50.7% de VLM-R1 y 56.9% de GPT-4o).
  • Ejemplo: En MathVista, logró un 76.8% de precisión, superando a modelos de 7B y rivalizando con sistemas propietarios avanzados.
• Mejora en la Calidad del Razonamiento (CoT-E): No solo mejoró la respuesta final, sino que aumentó significativamente la precisión de las cadenas de pensamiento intermedias, indicando una mejor alineación entre percepción y razonamiento.
• Estudios de Ablación:
  • La eliminación de cualquier componente (SynVRs, IntlzR, VGPO) degradó el rendimiento, confirmando la necesidad de abordar las tres etapas simultáneamente.
  • La puerta visual demostró ser crucial para reducir la deriva del razonamiento, incluso durante la inferencia.

4. Contribuciones Clave

1. Identificación de la Deriva del Razonamiento: Demostraron empíricamente que la falta de integración fiel de las pistas visuales en el razonamiento es un problema fundamental, no solo un problema de percepción.
2. Marco Cognitivo de Tres Etapas: Propusieron COGFLOW, que introduce explícitamente una etapa de internalización de conocimiento para cerrar la brecha entre la percepción y el razonamiento.
3. Mecanismos de Recompensa Innovadores:
   • SynVRs: Para percepción precisa y coherente.
   • IntlzR: Para asegurar que el razonamiento se base en la evidencia visual internalizada, penalizando la "alucinación" de relaciones lógicas no soportadas visualmente.
   • VGPO: Un algoritmo de optimización con puerta visual que filtra trayectorias de baja calidad antes de que afecten el razonamiento.
4. Dataset MATHCOG: La creación de un dataset masivo con anotaciones disociadas de percepción y razonamiento, esencial para entrenar modelos que internalicen conocimiento visual.

5. Significancia e Impacto

El trabajo de COGFLOW es significativo porque cambia el paradigma de entrenamiento de MLLMs para tareas visuales:

• De "Percepción + Razonamiento" a "Percepción → Internalización → Razonamiento": Reconoce que el razonamiento no puede ser efectivo si no hay un paso intermedio de consolidación del conocimiento visual.
• Interpretabilidad y Robustez: Al forzar al modelo a internalizar la estructura visual antes de razonar, se reducen las alucinaciones y se hace el proceso más interpretable y robusto ante errores de percepción menores (gracias a mecanismos de compensación).
• Generalización: Aunque se centra en matemáticas visuales, el marco de internalización de conocimiento tiene el potencial de aplicarse a otros dominios de razonamiento visual donde la fidelidad entre la entrada visual y la inferencia lógica es crítica.

En resumen, COGFLOW demuestra que para resolver problemas matemáticos visuales complejos, no basta con "ver" mejor; es necesario "comprender" y "internalizar" lo que se ve antes de intentar "razonar".