🤖 machine learning

Consistency-Driven Co-Evolution for Self-Supervised Cross-Representation Learning

Este artigo apresenta o CoCoEvolve, um framework autossupervisionado que aprimora a compreensão entre representações cruzadas de gráficos, tabelas e código ao definir correspondências explícitas um-para-um e otimizar a consistência por meio de um processo de coevolução durante o treinamento e a inferência, eliminando assim a necessidade de anotações dispendiosas enquanto melhora o desempenho em múltiplos benchmarks.

Autores originais: Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

Publicado 2026-08-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a entender o mundo, mas só lhe dá três linguagens diferentes para descrever a mesma coisa: uma imagem de um gráfico, uma planilha de números e o código de computador usado para desenhar o gráfico. Este é o desafio do "aprendizado entre representações" (cross-representation learning). No mundo real, os dados não são apenas uma coisa; são um gráfico que você vê, uma tabela que você lê e as instruções que um computador segue para criá-los. O problema é que essas três coisas nem sempre coincidem perfeitamente. Uma imagem pode ser desenhada a partir de muitas planilhas diferentes, e uma planilha pode ser transformada em muitos códigos diferentes. É como tentar traduzir um poema em uma música e uma pintura, mas você não tem um dicionário e o tradutor vive dando palpites.

Por muito tempo, os cientistas tentaram corrigir isso contratando humanos para escrever a tradução "perfeita" para cada exemplo individual. Mas isso é caro, lento e, muitas vezes, impossível porque não existe apenas uma resposta certa. A grande questão tem sido: podemos ensinar os computadores a aprender essas conexões sem precisar de um professor humano para cada etapa? Podemos fazer o computador verificar seu próprio trabalho vendo se a imagem, os números e o código contam a mesma história?

É aqui que entra uma nova ideia chamada CoCoEvolve. Pense nisso como um jogo de "telefone sem fio" jogado por três amigos que estão tentando descrever o mesmo objeto secreto. Neste jogo, um amigo desenha o objeto, outro anota as medidas e o terceiro escreve as instruções para construí-lo. Normalmente, se eles cometerem um erro, a história desmorona. Mas o CoCoEvolve muda as regras. Em vez de esperar que um professor diga "Bom trabalho" ou "Tente novamente", os três amigos verificam constantemente uns aos outros. Se o desenho não coincide com as medidas, ou se as instruções não constroem o desenho correto, eles sabem que algo está errado. Eles usam esse "descompasso" como um sinal para melhorar, sem nunca precisar que um humano lhes diga a resposta.

O artigo apresenta um sistema onde dois modelos de IA atuam como esses amigos. Um modelo tenta transformar a imagem de um gráfico em uma tabela e em código, enquanto o outro tenta transformar essa tabela de volta em código. Eles trabalham em um ciclo, evoluindo constantemente juntos. Se o código que eles geram consegue realmente rodar e desenhar um gráfico que se pareça com a imagem original, eles recebem uma "recompensa". Se o código falha ou o gráfico parece estranho, eles aprendem com essa falha. Os pesquisadores descobriram que, ao forçar a IA a manter a imagem, os números e o código em perfeito acordo, os modelos passaram a entender muito melhor os dados.

A equipe testou isso em quatro benchmarks (conjuntos de perguntas de teste) e descobriu que o CoCoEvolve melhorou significamente o desempenho da IA. Em alguns casos, os modelos ficaram até 37,91% melhores em traduzir gráficos para código em novos dados não vistos, e até 46,88% melhores em outros cenários complexos. Ainda mais impressionante, o sistema funcionou sem precisar de nenhum rótulo humano extra para ensiná-lo. Ele simplesmente usou a consistência entre as diferentes formas de dados como seu próprio professor.

O artigo também argumenta contra a forma antiga de fazer as coisas, que assumia que cada gráfico tinha exatamente uma tabela perfeita e um código perfeito. Os pesquisadores mostraram que essa suposição de "um para um" é, na verdade, uma armadilha. Como um gráfico pode ser descrito de muitas maneiras válidas, forçar a IA a escolher apenas uma resposta "correta" muitas vezes a confunde e faz com que ela tenha um desempenho pior. Ao abraçar a ideia de que existem muitas maneiras váláveis de descrever os dados, mas que todas as maneiras válidas devem concordar entre si, o CoCoEvolve evita essas armadilhas.

Em resumo, o artigo sugere que, em vez de contratar um exército de professores para corrigir cada tarefa de casa, podemos ensinar a IA a ser sua própria professora, garantindo que suas diferentes "linguagens" (imagens, tabelas e código) contem uma história consistente. Os resultados sugerem que este método é uma maneira poderosa, mais barata e mais flexível de ajudar a IA a entender o mundo complexo e multifacetado dos dados.

Resumo Técnico: CoCoEvolve

Declaração do Problema

O artigo aborda os desafios fundamentais na compreensão trans-representacional entre três modalidades: imagens de gráficos ( $V$ ), dados tabulares ( $T$ ) e código de visualização ( $C$ ). Os sistemas de IA atuais enfrentam dificuldades nesta tarefa devido a três gargalos principais:

Ambiguidade Inerente de Um-para-Muitos: Uma única imagem de gráfico pode corresponder a múltiplas representações tabulares válidas e múltiplos programas de renderização válidos. Os benchmarks existentes frequentemente assumem verdades fundamentais (ground truths) de um-para-um sem restrições, o que é mal definido e falha em capturar a redundância e a ambiguidade naturais dessas mapeamentos.
Ambiguidade de Supervisão e Custo: Rotular com precisão o vasto espaço de correspondências potenciais é proibitivamente caro, levando à escassez de anotações de alta qualidade e fundamentadas.
Falta de Sinais de Otimização Principados: Os métodos existentes dependem de objetivos fixos e específicos para tarefas (ex: gráfico-para-tabela ou gráfico-para-código). Esses objetivos locais falham em impor a correção semântica global e não se generalizam para direções reversas (ex: tabela-para-gráfico) ou combinações de representações não vistas (ex: tabela-para-código).

Metodologia: CoCoEvolve

Os autores introduzem o CoCoEvolve, um framework de coevolução orientado pela consistência, projetado para otimizar modelos sem anotações adicionais, aproveitando o acordo mútuo entre as representações.

1. Definição de Restrição Principada

Para resolver a ambiguidade de um-para-muitos, o framework fundamenta mapeamentos de um-para-muitos em correspondências precisas de um-para-um ao aumentar as funções de mapeamento com restrições descritivas auxiliares ( $s \in S$ ). Isso fundamenta os mapeamentos de tal forma que uma imagem de gráfico $v$ , uma tabela $t$ e um trecho de código $c$ são tratados como múltiplas representações da mesma semântica subjacente, condicionadas a restrições específicas.

2. Framework de Coevolução

O framework emprega dois modelos, $M_\theta$ (lidando com $V \to T$ e $V \to C$ ) e $M_\psi$ (lidando com $T \to C$ ), que coevoluem através de um ciclo de representação ( $V \to T \to C \to V$ ).

CoCoEvolve@Train (Tempo de Treinamento): Os modelos são treinados conjuntamente em imagens de gráficos não anotadas. Em vez de depender de rótulos de verdade fundamental, o sinal de treinamento é derivado da consistência entre representações.
- Recompensas Hierárquicas: O sistema computa uma recompensa compartilhada baseada em:
  - Consistência de Código ( $F_c$ ): Mede o acordo semântico entre o código gerado por ambos os modelos via sucesso de execução e similaridade de embeddings.
  - Consistência Visual ( $F_v$ ): Mede o acordo visual entre gráficos renderizados usando quatro métricas: similaridade semântica CLIP, similaridade estrutural SSIM, precisão textual de OCR e similaridade perceptual DINOv2.
  - Recompensa de Formato ( $F_f$ ): Garante saídas estruturadas bem formadas.
- Otimização Acoplada: Os modelos são acoplados através de amostragem e recompensa. $M_\psi$ condiciona-se na saída de $M_\theta$ , e a vantagem para cada modelo é derivada de um funcional de recompensa que depende da saída do outro modelo. Isso evita soluções degeneradas onde os modelos coludem para produzir saídas mutuamente consistentes, mas semanticamente incorretas, ao incorporar recompensas de fundamentação individuais contra o gráfico original.
CoCoEvolve@Test (Tempo de Teste): Na inferência, o framework aplica o mesmo objetivo de consistência para co-otimizar os modelos. Dado um input, ele gera múltiplos rollouts de ambos os modelos e seleciona a melhor saída com base nas recompensas de consistência, refinando efetivamente a predição no tempo de inferência sem atualizar os pesos do modelo.
Extensão Supervisionada: O framework pode integrar perfeitamente um módulo professor ( $M$ ) quando anotações de alta qualidade estão disponíveis. Isso permite uma estratégia de recuo linear onde o sistema transita de um co-treinamento guiado por professor para uma coevolução totalmente autossupervisionada.

3. Suíte de Avaliação (CoCoEvolve@Eval)

Os autores propõem uma suíte de avaliação unificada que evita a falta de confiabilidade de colapsar avaliações complexas em pontuações únicas. Ela decompõe a avaliação em métricas multidimensionais interpretáveis:

Regra-como-Juiz (Rule-as-Judge): Métricas determinísticas para precisão estrutural, semântica, perceptual e textual em gráficos; executabilidade e qualidade de código em código; e precisão de esquema/valor em tabelas.
LLM-como-Juiz & MLLM-como-Juiz: Pontuação detalhada (escala 0-5) em dimensões como correção de dados, tipo de gráfico, fidelidade estrutural e estilo visual, em vez de uma única pontuação de amplo alcance.

Principais Contribuições

Definição de Restrição Principada: O artigo introduz uma definição formal para fundamentar mapeamentos inerentes de um-para-muitos em correspondências precisas de um-para-um, abordando uma lacuna negligenciada por benchmarks existentes.
Framework CoCoEvolve: Um novo framework de coevolução que transforma a consistência entre representações em um sinal de autossupervisão principado e livre de anotações. Ele permite a otimização tanto em tempo de treinamento quanto de teste, agnóstico a direções de tarefas e combinações de representações.
Suíte de Avaliação Unificada: Uma suíte de avaliação sistemática cobrindo todas as seis tarefas de representação cruzada no ciclo, utilizando avaliações multidimensionais para superar as limitações das abordagens atuais de julgamento baseadas em LLM/MLLM.
Validação Empírica: Experimentos extensos demonstrando ganhos significativos de desempenho em múltiplos benchmarks e arquiteturas de modelos.

Resultados

Experimentos foram conduzidos em quatro benchmarks (ChartCoder, ChartNet, ChartMimic, Chart2Code) usando vários MLLMs e LLMs (ex: Qwen3-VL, InternVL3.5, DeepSeek-Coder).

Ganhos de Desempenho: O CoCoEvolve melhora consistentemente o desempenho tanto nos cenários de tempo de treinamento quanto de tempo de teste.
- Em conjuntos de teste não sobrepostos, ele gera ganhos de até 37,91%.
- Em configurações fora do domínio (out-of-domain), as melhorias atingem até 46,88%.
- As taxas de sucesso de execução de código melhoraram significamente, com algumas configurações alcançando 100,00% de sucesso de execução em sandbox.
Generalização: O método demonstra generalização robusta para tarefas fora do domínio (variando complexidade e domínios como física, finanças, biologia) e diferentes algoritmos de aprendizado por reforço (GRPO, DAPO, GSPO).
Estudos de Ablação: A inclusão de um módulo professor tanto no tempo de treinamento quanto no de teste produz o desempenho mais equilibrado, enquanto a otimização apenas no tempo de teste melhora consistentemente os resultados em todas as seis tarefas.

Significância e Alegações

O artigo afirma que o CoCoEvolve oferece uma alternativa escalável para pipelines pesados em anotações para tarefas de raciocínio estruturado. Ao tratar a consistência entre modalidades como um sinal de supervisão confiável, o framework permite que os modelos "coevoluam simbioticamente", onde a melhoria de um modelo fornece uma supervisão mais forte para o outro. Os autores afirmam que esta abordagem aborda efetivamente a ambiguidade da supervisão e a falta de sinais de otimização adaptáveis à direção, levando a capacidades aprimoradas de compreensão trans-representacional que se generalizam através de tarefas, direções e domínios. O trabalho sugere que impor a correção semântica global através da consistência é um caminho viável para o raciocínio multimodal sem depender de rótulos de verdade fundamental fixos.