CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval

Resumo Técnico: CodeMMR e MMCoIR

1. O Problema

A busca de código (code search), tradicionalmente tratada como um problema de Recuperação de Informação (IR) baseado em texto, é fundamental para a engenharia de software moderna e para sistemas de Geração Aumentada por Recuperação (RAG) em LLMs. No entanto, os modelos existentes são predominantemente centrados em texto, ignorando a natureza multimodal dos artefatos de software modernos.

Na prática, o código frequentemente define funcionalidades visuais (layouts web, visualização de dados, SVGs, diagramas UML, esquemas). Desenvolvedores precisam não apenas encontrar código baseado em descrições textuais, mas também:

• Recuperar código a partir de uma imagem (ex: um screenshot de um site ou um gráfico).
• Recuperar a imagem resultante a partir de um trecho de código.
• Realizar buscas compostas (texto + imagem $\rightarrow$ código).

A lacuna atual é a falta de modelos e benchmarks capazes de alinhar semanticamente linguagem natural, código e imagens em um espaço de representação unificado, especialmente considerando a diversidade de linguagens e domínios visuais.

2. Metodologia

O trabalho propõe duas contribuições principais: um novo benchmark e um novo modelo de recuperação.

A. MMCoIR (Multimodal Code Information Retrieval Benchmark)
É o primeiro benchmark abrangente para avaliar a recuperação de código multimodal e multilíngue.

• Escopo: Cobre 5 domínios visuais (WebUI, Gráficos de Dados, SVG, Diagramas Esquemáticos, UML).
• Dados: Inclui 8 linguagens de programação (HTML, CSS, JS, Python, XML, LaTeX, PlantUML, etc.) e 11 bibliotecas.
• Tarefas: Suporta recuperação em múltiplas direções: texto $\rightarrow$ código, imagem $\rightarrow$ código, texto+imagem $\rightarrow$ código, e suas inversas (código $\rightarrow$ imagem).
• Estrutura: Utiliza instruções em linguagem natural (instruction-based) para definir explicitamente o objetivo da busca (ex: "Recupere o código que corresponde a esta imagem"), garantindo consistência semântica entre conjuntos de dados heterogêneos.

B. CodeMMR (Modelo de Recuperação Unificado)
É um modelo de incorporação (embedding) unificado projetado para mapear linguagem natural, código e imagens em um espaço semântico compartilhado.

• Arquitetura: Baseado no modelo de visão-linguagem Qwen2-VL-2B-Instruct.
• Treinamento: Utiliza aprendizado contrastivo (InfoNCE loss) com alinhamento baseado em instruções. O modelo é treinado para maximizar a similaridade entre pares (instrução + query, alvo positivo) e minimizar a similaridade com negativos (dentro do batch e negativos difíceis).
• Estratégia: O encoder de visão é congelado, enquanto o modelo de linguagem é ajustado via LoRA (Low-Rank Adaptation) para aprender a representar a estrutura do código e sua relação com a semântica visual.
• Configuração: O modelo suporta sequências de entrada de até 512 tokens (uma melhoria sobre o padrão de 256 tokens de modelos anteriores), crucial para linguagens estruturadas como SVG e LaTeX.

3. Contribuições Principais

1. MMCoIR: A introdução do primeiro testbed em larga escala para avaliação de modelos de incorporação multimodal multilíngue focados em código, cobrindo domínios visuais diversos e cenários de busca complexos.
2. CodeMMR: O desenvolvimento de um modelo unificado que supera os limites dos modelos de visão-linguagem tradicionais ao incorporar explicitamente a modalidade de código, alcançando alinhamento robusto entre texto, imagem e código.
3. Validação Prática (RAG): Demonstração de que a integração do CodeMMR em sistemas RAG melhora significativamente a fidelidade da geração de código e o grounding visual em tarefas de geração de código a partir de imagens, reduzindo alucinações.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark MMCoIR e em tarefas de geração de código (ChartMimic, WebCode2M).

• Desempenho no MMCoIR:

  • O CodeMMR superou consistentemente os baselines de última geração (incluindo UniIR, GME, VLM2Vec, LamRA).
  • Em termos de nDCG@10, o CodeMMR obteve uma melhoria média de 10 pontos em relação aos melhores baselines concorrentes.
  • Variação por Domínio: O modelo atingiu 100% de precisão em diagramas UML (devido à estrutura simbólica simples) e >97% em WebUI. O domínio de SVG foi o mais desafiador devido à complexidade geométrica e composicional, mas o CodeMMR ainda superou significativamente os concorrentes.
  • Generalização: O modelo demonstrou forte capacidade de generalização em tarefas não vistas durante o treinamento (como Sketch2Code e ChartEdit), superando modelos que foram apenas ajustados (fine-tuned) nos dados de treinamento.

• Impacto no Comprimento de Entrada:

  • Aumentar o comprimento máximo de entrada de 256 para 512 tokens resultou em ganhos consistentes de desempenho, especialmente em tarefas estruturadas como SVG, onde a truncagem de código prejudica a compreensão semântica.

• Aplicação em RAG (Geração de Código):

  • Ao integrar o CodeMMR em sistemas RAG para tarefas de "Imagem $\rightarrow$ Código", houve melhorias substanciais:
    • +10.0 pontos na Taxa de Execução (Execution Rate).
    • +9.4 pontos na Precisão Visual (Visual Accuracy).
  • A análise qualitativa mostrou que o RAG com CodeMMR reduz erros de texto (rótulos, legendas) e inconsistências de layout, fornecendo priors estruturais mais confiáveis para os LLMs.

5. Significância e Impacto

Este trabalho representa um avanço fundamental na interseção entre Engenharia de Software e IA Multimodal:

• Ponte Multimodal: Estabelece que a recuperação de código não pode ser tratada apenas como um problema de texto; a compreensão visual é intrínseca a muitos artefatos de software.
• Padrão para Pesquisa: O MMCoIR fornece a base necessária para o desenvolvimento futuro de sistemas de IA mais inteligentes e grounded, permitindo a avaliação rigorosa de modelos em cenários realistas.
• Melhoria de Sistemas de Codificação: A demonstração de que a recuperação multimodal melhora a geração de código sugere que futuros assistentes de programação (como GitHub Copilot ou ferramentas RAG) devem incorporar capacidades visuais para serem verdadeiramente eficazes.

Em suma, o CodeMMR e o MMCoIR definem um novo estado da arte, provando que a unificação de texto, código e imagem em um espaço de embedding compartilhado é viável e essencial para a próxima geração de sistemas de programação inteligente.