🤖 machine learning

Consistency-Driven Co-Evolution for Self-Supervised Cross-Representation Learning

Este artículo presenta CoCoEvolve, un marco de aprendizaje autosupervisado que mejora la comprensión de representaciones cruzadas entre gráficos, tablas y código mediante la definición de correspondencias explícitas de uno a uno y la optimización de la consistencia a través de un proceso de coevolución tanto durante el entrenamiento como durante la inferencia, eliminando así la necesidad de anotaciones costosas al tiempo que mejora el rendimiento en múltiples evaluaciones.

Autores originales: Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

Publicado 2026-08-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a entender el mundo, pero solo le das tres lenguajes diferentes para describir la misma cosa: una imagen de un gráfico, una hoja de cálculo de números y el código de computadora utilizado para dibujar el gráfico. Este es el desafío del "aprendizaje de representaciones cruzadas" (cross-representation learning). En el mundo real, los datos no son solo una cosa; son un gráfico que ves, una tabla que lees y las instrucciones que una computadora sigue para crearlos. El problema es que estas tres cosas no siempre coinciden perfectamente. Una imagen podría estar dibujada a partir de muchas hojas de cálculo diferentes, y una hoja de cálculo podría convertirse en muchos códigos distintos. Es como intentar traducir un poema a una canción y a una pintura, pero no tienes un diccionario y el traductor no deja de adivinar.

Durante mucho tiempo, los científicos intentaron solucionar esto contratando a humanos para que escribieran la traducción "perfecta" para cada ejemplo. Pero esto es costoso, lento y, a menudo, imposible porque no existe una única respuesta correcta. La gran pregunta ha sido: ¿Podemos enseñar a las computadoras a aprender estas conexiones sin necesidad de un profesor humano para cada paso? ¿Podemos lograr que la computadora revise su propio trabajo viendo si la imagen, los números y el código cuentan la misma historia?

Aquí es donde surge una nueva idea llamada CoCoEvolve. Piensa en esto como un juego del "teléfono descompuesto" jugado por tres amigos que intentan describir el mismo objeto secreto. En este juego, un amigo dibuja el objeto, otro anota las medidas y el tercero escribe las instrucciones para construirlo. Normalmente, si cometen un error, la historia se desmorona. Pero CoCoEvolve cambia las reglas. En lugar de esperar a que un profesor diga "Buen trabajo" o "Inténtalo de nuevo", los tres amigos se revisan constantemente entre sí. Si el dibujo no coincide con las medidas, o si las instrucciones no construyen la imagen correcta, saben que algo anda mal. Utilizan este "desajuste" como una señal para mejorar, sin necesidad de que un humano les diga la respuesta.

El artículo presenta un sistema donde dos modelos de IA actúan como estos amigos. Un modelo intenta convertir la imagen de un gráfico en una tabla y código, mientras que el otro intenta convertir esa tabla de nuevo en código. Trabajan en un ciclo, evolucionando constantemente juntos. Si el código que generan puede ejecutarse realmente y dibujar un gráfico que se parezca a la imagen original, reciben una "recompensa". Si el código falla o el gráfico se ve extraño, aprenden de ese fallo. Los investigadores descubrieron que, al obligar a la IA a mantener la imagen, los números y el código en perfecto acuerdo, los modelos mejoraron mucho su comprensión de los datos.

El equipo realizó pruebas en cuatro bancos de pruebas diferentes (conjuntos de preguntas de prueba) y encontró que CoCoEvolve mejoró significamente el rendimiento de la IA. En algunos casos, los modelos fueron hasta un 37.91% mejores al traducir gráficos a código en datos nuevos no vistos, y hasta un 46.88% mejores en otros escenarios complejos. Aún más impresionante, el sistema funcionó sin necesidad de etiquetas humanas adicionales para enseñarle. Simplemente utilizó la consistencia entre las diferentes formas de los datos como su propio maestro.

El artículo también argumenta en contra de la forma antigua de hacer las cosas, que asumía que cada gráfico tenía exactamente una tabla perfecta y un código perfecto. Los investigadores demostraron que esta suposición de "uno a uno" es en realidad una trampa. Debido a que un gráfico puede describirse de muchas maneras válidas, obligar a la IA a elegir solo una respuesta "correcta" a menudo la confunde y hace que rinda peor. Al abrazar la idea de que hay muchas formas válidas de describir los datos, pero que todas las formas válidas deben estar de acuerdo entre sí, CoCoEvolve evita estas trampas.

En resumen, el artículo sugiere que, en lugar de contratar a un ejército de maestros para calificar cada tarea, podemos enseñar a la IA a ser su propio maestro asegurándonos de que sus diferentes "lenguajes" (imágenes, tablas y código) cuenten una historia consistente. Los resultados sugieren que este método es una forma poderosa, más barata y más flexible de ayudar a la IA a comprender el complejo y multifacético mundo de los datos.

Resumen Técnico: CoCoEvolve

Planteamiento del Problema

El artículo aborda los desafíos fundamentales en la comprensión de representaciones cruzadas a través de tres modalidades: imágenes de gráficos ( $V$ ), datos tabulares ( $T$ ) y código de visualización ( $C$ ). Los sistemas de IA actuales tienen dificultades con esta tarea debido a tres cuellos de botella principales:

Ambigüedad Inherente de Uno-a-Muchos: Una sola imagen de un gráfico puede corresponder a múltiples representaciones tabulares válidas y a múltiples programas de renderizado válidos. Los benchmarks existentes a menudo asumen verdades de referencia (ground truths) uno-a-uno no restringidas, las cuales están mal definidas y no logran capturar la redundancia y ambigüedad natural de estos mapeos.
Ambigüedad y Costo de la Supervisión: Etiquetar con precisión el vasto espacio de correspondencias potenciales es prohibitivamente costoso, lo que genera una escasez de anotaciones de alta calidad y con principios claros.
Falta de Señales de Optimización Principiales: Los métodos existentes dependen de objetivos fijos y específicos para cada tarea (por ejemplo, gráfico-a-tabla o gráfico-a-código). Estos objetivos locales no logran imponer una corrección semántica global y no se generalizan a las direcciones inversas (por ejemplo, tabla-a-gráfico) o combinaciones de representaciones no vistas (por ejemplo, tabla-a-código).

Metodología: CoCoEvolve

Los autores introducen CoCoEvolve, un marco de coevolución impulsado por la consistencia diseñado para optimizar modelos sin anotaciones adicionales, aprovechando el acuerdo mutuo entre representaciones.

1. Definición de Restricciones Principales

Para resolver la ambigüedad de uno-a-muchos, el marco ancla los mapeos de uno-a-muchos a correspondencias precisas de uno-a-uno mediante el aumento de las funciones de mapeo con restricciones descriptivas auxiliares ( $s \in S$ ). Esto fundamenta los mapeos de tal manera que una imagen de un gráfico $v$ , una tabla $t$ y un fragmento de código $c$ son tratados como múltiples representaciones de la misma semántica subyacente, condicionadas a restricciones específicas.

2. Marco de Coevolución

El marco emplea dos modelos, $M_\theta$ (que maneja $V \to T$ y $V \to C$ ) y $M_\psi$ (que maneja $T \to C$ ), que coevolucionan a través de un ciclo de representación ( $V \to T \to C \to V$ ).

CoCoEvolve@Train (Tiempo de Entrenamiento): Los modelos se entrenan conjuntamente sobre imágenes de gráficos sin anotar. En lugar de depender de etiquetas de verdad de referencia, la señal de entrenamiento se deriva de la consistencia entre representaciones.
- Recompensas Jerárquicas: El sistema computa una recompensa compartida basada en:
  - Consistencia de Código ( $F_c$ ): Mide el acuerdo semántico del código generado por ambos modelos mediante el éxito de ejecución y la similitud de embeddings.
  - Consistencia Visual ( $F_v$ ): Mide el acuerdo visual entre los gráficos renderizados utilizando cuatro métricas: similitud semántica de CLIP, similitud estructural SSIM, precisión textual de OCR y similitud perceptual de DINOv2.
  - Recompensa de Formato ( $F_f$ ): Asegura salidas estructuradas bien formadas.
- Optimización Acoplada: Los modelos están acoplados mediante muestreo y recompensa. $M_\psi$ condiciona su salida a la de $M_\theta$ , y la ventaja para cada modelo se deriva de un funcional de recompensa que depende de la salida del otro modelo. Esto evita soluciones degeneradas donde los modelos coluden para producir salidas mutuamente consistentes pero semánticamente incorrectas, incorporando recompensas de fundamentación individuales contra el gráfico original.
CoCoEvolve@Test (Tiempo de Inferencia): En la inferencia, el marco aplica el mismo objetivo de consistencia para cooptimizar los modelos. Dado un input, genera múltiples ejecuciones (rollouts) de ambos modelos y selecciona la mejor salida basándose en las recompensas de consistencia, refinando efectivamente la predicción en el tiempo de inferencia sin actualizar los pesos del modelo.
Extensión Supervisada: El marco puede integrar sin problemas un módulo profesor ( $M$ ) cuando hay anotaciones de alta calidad disponibles. Esto permite una estrategia de recocido (annealing) lineal donde el sistema transiciona de un coentrenamiento guiado por el profesor a una coevolución totalmente autosupervisada.

3. Suite de Evaluación (CoCoEvolve@Eval)

Los autores proponen una suite de evaluación unificada que evita la falta de fiabilidad de colapsar evaluaciones complejas en puntuaciones únicas. Descompone la evaluación en métricas multidimensionales e interpretables:

Regla como Juez (Rule-as-Judge): Métricas deterministas para la precisión estructural, semántica, perceptual y textual en gráficos; ejecutabilidad y calidad de código en código; y precisión de esquema/valor en tablas.
LLM-como-Juez y MLLM-como-Juez: Puntuación detallada (escala 0-5) a través de dimensiones como corrección de datos, tipo de gráfico, fidelidad estructural y estilo visual, en lugar de una única puntuación de amplio rango.

Principales Contribuciones

Definición de Restricciones Principales: El artículo introduce una definición formal para anclar los mapeos inherentes de uno-a-muchos a correspondencias precisas de uno-a-uno, abordando un vacío pasado por alto por los benchmarks existentes.
Marco CoCoEvolve: Un novedoso marco de coevolución que transforma la consistencia de representaciones cruzadas en una señal de autosupervisión basada en principios y sin anotaciones. Permite la optimización tanto en el tiempo de entrenamiento como en el de prueba, siendo agnóstico a las direcciones de las tareas y a las combinaciones de representaciones.
Suite de Evaluación Unificada: Una suite de evaluación sistemática que cubre las seis tareas de representación cruzada en el ciclo, utilizando evaluaciones multidimensionales para superar las limitaciones de los enfoques actuales de juzgado basados en LLM/MLLM.
Validación Empírica: Experimentos extensos que demuestran ganancias significativas de rendimiento en múltiples benchmarks y arquitecturas de modelos.

Resultados

Los experimentos se realizaron en cuatro benchmarks (ChartCoder, ChartNet, ChartMimic, Chart2Code) utilizando varios MLLMs y LLMs (por ejemplo, Qwen3-VL, InternVL3.5, DeepSeek-Coder).

Ganancias de Rendimiento: CoCoEvolve mejora consistentemente el rendimiento tanto en los entornos de tiempo de entrenamiento como de tiempo de prueba.
- En conjuntos de prueba no superpuestos, produce ganancias de hasta el 37.91%.
- En entornos fuera de dominio (out-of-domain), las mejoras alcanzan hasta el 46.88%.
- Las tasas de éxito de ejecución de código mejoraron significamente, con algunas configuraciones logrando un 100.00% de éxito de ejecución en sandbox.
Generalizabilidad: El método demuestra una robusta generalización a tareas fuera de dominio (variaciones de complejidad y dominios como física, finanzas, biología) y a diferentes algoritmos de aprendizaje por refuerzo (GRPO, DAPO, GSPO).
Estudios de Ablación: La inclusión de un módulo profesor tanto en el tiempo de entrenamiento como en el de prueba produce el rendimiento más equilibrado, mientras que la optimización en el tiempo de prueba por sí sola mejora consistentemente los resultados en las seis tareas.

Significado y Reivindicaciones

El artículo afirma que CoCoEvolve ofrece una alternativa escalable a los procesos dependientes de anotaciones para tareas de razonamiento estructurado. Al tratar la consistencia de representaciones cruzadas como una señal de supervisión fiable, el marco permite que los modelos "coevolucionen simbióticamente", donde la mejora de un modelo proporciona una supervisión más fuerte para el otro. Los autores sostienen que este enfoque aborda eficazmente la ambigüedad de la supervisión y la falta de señales de optimización adaptables a la dirección, lo que conduce a una capacidad de comprensión de representaciones cruzadas mejorada que se generaliza a través de tareas, direcciones y dominios. El trabajo sugiere que imponer la corrección semántica global a través de la consistencia es un camino viable para el razonamiento multimodal sin depender de etiquetas de verdad de referencia fijas.