JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence

1. O Problema

O campo da inteligência de código neural está rapidamente expandindo além do código fonte baseado em texto para abranger as saídas visuais ricas que os programas geram (como visualizações de dados, interfaces de usuário web e animações). Embora modelos de linguagem grandes (LLMs) tenham revolucionado a geração de código textual, a conexão entre código e visão ainda está em estágios iniciais.

Os principais desafios identificados são:

• Falta de Dados Multimodais de Alta Qualidade: Existe uma escassez crítica de conjuntos de dados que liguem instruções naturais, código e suas respectivas saídas visuais (imagens, animações, UIs).
• Dificuldades de Síntese e Avaliação: Gerar dados que sejam não apenas executáveis, mas que também correspondam fielmente a instruções visuais complexas é difícil.
• Modelos Especializados e Isolados: Trabalhos anteriores tendem a criar modelos específicos para tarefas isoladas (ex: um modelo apenas para "gráfico para código" e outro para "UI para código"), o que impede a generalização e a escalabilidade.
• Gap Perceptivo-Simbólico: Há uma necessidade de uma interface unificada que harmonize a lógica do código com sua expressão visual.

2. Metodologia

Os autores propõem uma abordagem completa que abrange desde a criação de dados até o treinamento de modelos unificados.

A. Ferramenta de Síntese de Dados (Data Synthesis Toolkit)

Para superar a escassez de dados, foi desenvolvida uma ferramenta versátil que utiliza sinergias recíprocas entre modalidades. O pipeline inclui:

1. Coleta e Categorização: Agregação de dados de repositórios públicos, web corpora, projetos de demonstração científica (Wolfram) e competições de programação. Os dados são classificados em pares (Instrução, Código) e tripletas (Instrução, Código, Visualização).
2. Estratégias de Curação e Síntese:
   • Evolução Guiada: Gera novas instruções complexas baseadas em conceitos de alto nível (ex: "adicionar um widget").
   • Recontextualização: Melhora a qualidade semântica das instruções existentes analisando o código para revelar lógica implícita.
   • Instrução Reversa: Transforma código bruto em pares instrução-código alinhados, expandindo a cobertura de dados.
   • Tradução Bidirecional: Transfere conhecimento entre domínios semânticos relacionados (ex: de R/Mathematica para Manim/Python), multiplicando o valor dos dados especializados.
3. Controle de Qualidade e Modelagem de Recompensa:
   • Validação Executável: Todo código gerado é executado em ambientes de sandbox (Python, renderizadores web, motores Manim) para garantir que produza saída.
   • Avaliação por VLM/LLM: Um modelo de recompensa (usando VLMs como Qwen2.5-VL-72B) avalia a alinhamento entre a instrução, o código e a saída visual em quatro dimensões: relevância da tarefa, conclusão da tarefa, qualidade do código e clareza visual. Apenas amostras com pontuação alta são retidas.

B. O Corpus JANUSCODE-800K

Utilizando a ferramenta acima, os autores construíram o JANUSCODE-800K, o maior corpus de inteligência de código multimodal até a data.

• Escala: 800.000 amostras.
• Diversidade: Cobre desde gráficos estáticos (Matplotlib) até UIs web interativas, artefatos visuais e animações complexas (estilo 3Blue1Brown).
• Balanceamento: Aproximadamente 50,9% de dados centrados em texto e 49,1% centrados em visão.

C. Modelos JANUSCODER e JANUSCODERV

• JANUSCODER: Focado em tarefas centradas em texto (geração de código a partir de instruções textuais).
• JANUSCODERV: Um modelo unificado que aceita entradas multimodais (texto, código e imagens) para gerar código.
• Arquitetura: Baseado em backbones como Qwen3 (8B/14B) e InternVL/Qwen-VL, treinados para estabelecer uma interface visual-programática unificada, capaz de gerar, editar e interpretar artefatos visuais a partir de múltiplas modalidades.

3. Principais Contribuições

1. Ferramenta de Síntese de Dados: Uma pipeline automatizada que reduz o esforço de engenharia para curar dados multimodais de código, permitindo a síntese em larga escala de domínios heterogêneos.
2. JANUSCODE-800K: O maior e mais abrangente corpus de código multimodal, incluindo dados de animação e artefatos que não existiam em trabalhos anteriores.
3. Modelos Unificados (JANUSCODER/V): Uma série de modelos fundamentais que superam a abordagem de modelos especializados, oferecendo uma interface única para tarefas visuais e programáticas.
4. Novo Benchmark (DTVBENCH): Um benchmark proposto para avaliar a geração de código para visualizações de teoremas dinâmicos (usando Manim e Wolfram Mathematica).
5. Desempenho de Ponta: Demonstrar que modelos open-source de 7B a 14B parâmetros podem igualar ou superar modelos comerciais (como GPT-4o) em tarefas de codificação visual.

4. Resultados

Os modelos foram avaliados em 7 benchmarks (existentes e novos), cobrindo tarefas unimodais e multimodais:

• Tarefas Centradas em Texto (Unimodal):
  • No PandasPlotBench e ArtifactsBench, o JANUSCODER (14B) alcançou taxas de erro inferiores a 10% e superou o GPT-4o em completude de tarefa e similaridade visual.
  • No DTVBENCH, o modelo demonstrou alta qualidade na geração de animações dinâmicas e interativas.
• Tarefas Multimodais:
  • No ChartMimic (gráfico para código), o JANUSCODERV superou consistentemente modelos especializados e o GPT-4o, destacando a eficácia da sinergia de dados entre tarefas.
  • Em WebCode2M e DesignBench (geração e edição de UIs a partir de screenshots), o modelo mostrou superioridade na preservação da estrutura do código (TreeBLEU) e na qualidade visual, superando modelos open-weight concorrentes.
  • No InteractScience, o modelo obteve os melhores resultados entre modelos open-source, superando bases fortes como InternVL3.5 em correção programática e alinhamento visual.
• Capacidade de Codificação Geral:
  • O modelo manteve forte desempenho em benchmarks gerais de codificação (LiveCodeBench, BigCodeBench), provando que o treinamento multimodal não degradou a capacidade de raciocínio lógico geral.

5. Significância e Impacto

O trabalho JANUSCODER representa um avanço fundamental na inteligência de código multimodal ao:

• Unificar Domínios: Demonstrar que uma única arquitetura pode lidar com uma vasta gama de tarefas visuais e programáticas, eliminando a necessidade de modelos especializados para cada nicho.
• Democratizar o Acesso: Fornecer modelos open-source (7B-14B) que competem com soluções proprietárias caras, tornando a geração de interfaces visuais complexas e animações acessível à comunidade de pesquisa.
• Estabelecer Novos Padrões: O corpus JANUSCODE-800K e o benchmark DTVBench fornecem recursos essenciais para o futuro desenvolvimento de agentes de IA capazes de entender e criar o mundo visual através do código.
• Ponte Perceptivo-Simbólica: O trabalho avança significativamente na redução da lacuna entre a percepção visual e a representação simbólica do código, permitindo que modelos "vejam" e "escrevam" código que gera o que foi visto.

Em resumo, o JANUSCODER estabelece uma nova base para a próxima geração de assistentes de programação capazes de interagir fluentemente com o código e suas representações visuais.