GALA: Multimodal Graph Alignment for Bug Localization in Automated Program Repair

1. O Problema

O Automated Program Repair (APR) baseado em Grandes Modelos de Linguagem (LLMs) demonstrou potencial significativo em benchmarks puramente textuais. No entanto, esses sistemas enfrentam dificuldades em cenários multimodais, onde os relatórios de bugs incluem capturas de tela da interface gráfica (GUI) além de descrições textuais.

As abordagens existentes para APR multimodal geralmente convertem imagens em descrições de texto plano (usando modelos VLM - Vision-Language Models) e as injetam em pipelines de localização de falhas tradicionais. O artigo identifica duas limitações fundamentais nessa abordagem:

1. Perda de Relações Estruturais Visuais: A tradução de imagens para texto descarta as relações espaciais e estruturais complexas entre os elementos da UI (ex.: sobreposição, hierarquia de contêineres). Um modelo pode reconhecer as palavras "caixa de busca" e "rótulo", mas falhar em capturar a interação crítica de "sobreposição" que define o bug.
2. Desconexão Visual-Código e Localização Imprecisa: Os métodos atuais dependem de correspondência de palavras-chave semântica implícita, em vez de vincular estruturalmente as observações visuais ao código. Isso leva a uma localização imprecisa, onde o modelo pode recuperar arquivos irrelevantes com semântica similar, em vez de identificar os componentes de layout reais responsáveis pelo erro.

2. Metodologia: GALA

Para superar essas limitações, os autores propõem o GALA (Graph Alignment for Localization in APR). O GALA reformula a localização de bugs multimodais como um problema de alinhamento de grafos cruzados e hierárquico, transformando o processo de "adivinhação semântica implícita" em "raciocínio estrutural explícito".

O framework opera em quatro estágios principais:

A. Construção do Gráfico de UI da Imagem (Image UI Graph)

Em vez de extrair um gráfico de cena global, o GALA constrói um gráfico problemático centrado:

• Identificação de Tipo: Um VLM classifica a imagem (ex.: página de UI, gráfico, captura de código) para definir um prior estrutural.
• Seleção de Objetos Raiz: Identifica elementos visuais diretamente relacionados ao bug (afetados, envolvidos na anomalia ou citados na descrição).
• Expansão de Nós de Suporte: Adiciona nós contextuais mínimos (vizinhos, contêineres) necessários para explicar as relações.
• Construção de Relações: Inferência de arestas direcionadas que capturam relações estruturais e funcionais (ex.: "contém", "dispara", "renderiza") baseadas em evidências visuais.
• Resultado: Um gráfico denso, mas esparsamente conectado, que preserva a topologia do bug.

B. Alinhamento em Nível de Arquivo (File-level Alignment)

O objetivo é reduzir o espaço de busca do repositório inteiro para um conjunto compacto de arquivos candidatos ("seed files"):

• Grounding do Repositório: Constrói uma árvore hierárquica do repositório (filtrando diretórios irrelevantes).
• Recuperação Semântica: Usa o resumo do gráfico de imagem e a descrição do problema para recuperar arquivos candidatos semanticamente relevantes.
• Refinamento Estrutural: Constrói um Gráfico de Arquivos baseado em dependências de importação estática. O modelo alinha o gráfico de imagem com este gráfico de arquivos, priorizando arquivos que não apenas têm semântica similar, mas também são suportados por evidências estruturais consistentes (dependências).

C. Alinhamento em Nível de Função (Function-level Alignment)

Dentro dos arquivos candidatos, o GALA realiza o alinhamento fino:

• Construção de Gráfico de Funções: Cria um gráfico de código focado em UI, onde nós são funções/métodos e arestas representam interações (ex.: renders, calls, writes_state).
• Alinhamento Cruzado: O modelo alinha os nós do gráfico de imagem com os nós do gráfico de funções. O alinhamento só é aceito se houver compatibilidade semântica e consistência nas relações de vizinhança (ex.: se a imagem mostra "A contém B", o código deve mostrar uma função que renderiza A chamando B).
• Identificação de Alvos de Edição: Seleciona um subconjunto de funções-alvo (primárias, secundárias) para a geração do patch, filtrando correspondências estruturalmente inconsistentes.

D. Geração de Patch Guiada por Gráfico

O agente de reparo gera o patch de código utilizando os alvos de edição identificados. O processo é restrito ao espaço de reparo local definido pelos arquivos e funções alinhados, garantindo que as modificações sejam direcionadas e minimamente invasivas.

3. Contribuições Principais

1. Reformulação do Problema: A localização de bugs multimodais é tratada como um problema de alinhamento de grafos cruzados hierárquico (visual ↔ código).
2. Representações Estruturadas: Propõe o uso de um Gráfico de UI de Imagem e Grafos de Código Multi-nível (arquivo e função) para modelar explicitamente tanto a semântica visual quanto as dependências de código.
3. Mecanismo de Alinhamento Hierárquico: Desenvolve um mecanismo que conecta elementos visuais a componentes de código do nível de arquivo até o nível de função, garantindo consistência semântica e relacional.
4. Desempenho SOTA: Demonstra que o alinhamento estrutural supera métodos baseados apenas em texto ou correspondência implícita.

4. Resultados Experimentais

O GALA foi avaliado no benchmark SWE-bench Multimodal (que contém 619 tarefas de bugs em repositórios JavaScript com interfaces visuais).

• Desempenho Geral: O GALA alcançou a melhor taxa de resolução (35.40%) usando o modelo Qwen3.5-122B-A10B, superando os métodos mais fortes da base (como GUIRepair com 34.82% e OpenHands-Versa com 34.43%).
• Localização: O método demonstrou superioridade na precisão da localização:
  • Recall no Nível de Arquivo: 29.22% (vs. 28.71% do SVRepair).
  • Recall no Nível de Função: 17.14% (vs. 16.25% do SVRepair).
• Robustez: O GALA manteve vantagens significativas mesmo em modelos menores (35B), sugerindo que o alinhamento estrutural fornece um guia mais forte do que apenas o aumento da capacidade do modelo.
• Estudos de Ablação:
  • A remoção do alinhamento cruzado (usando apenas gráficos de imagem ou código isoladamente) resultou em queda de desempenho, confirmando que a correspondência estrutural explícita é o fator chave de melhoria.
  • O uso de grafos de código em nível de função (além do nível de arquivo) trouxe ganhos adicionais, validando a necessidade de granularidade fina.

5. Significância

O trabalho GALA representa um avanço significativo na Engenharia de Software Multimodal. Ele demonstra que:

• A simples conversão de imagens para texto é insuficiente para reparo de software complexo; a estrutura espacial e relacional deve ser preservada e alinhada explicitamente com a estrutura do código.
• O raciocínio estrutural explícito (via grafos) pode compensar limitações de modelos menores e melhorar a interpretabilidade e a precisão dos agentes de reparo.
• A abordagem estabelece um novo paradigma para integrar evidências visuais em pipelines de APR, movendo-se além da correspondência de palavras-chave para uma compreensão profunda da topologia do sistema.

Em resumo, o GALA oferece uma solução robusta para bugs que dependem de contexto visual, estabelecendo um novo estado da arte ao tratar a localização de bugs como um problema de alinhamento estrutural entre modalidades.