CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs

Resumo Técnico: CodeCircuit

1. O Problema (Contexto e Motivação)

Atualmente, a verificação de código gerado por Grandes Modelos de Linguagem (LLMs) depende de mecanismos externos: testes unitários baseados em execução (que são custosos e podem não cobrir todos os casos de borda) ou LLMs como juízes (que sofrem de viés de recursividade e limitações de raciocínio).

Os autores propõem uma questão fundamental: é possível avaliar a correção funcional de um código analisando apenas a estrutura computacional interna do modelo durante a geração? O problema central é que a natureza estocástica dos LLMs torna a confiabilidade um gargalo para o uso em fluxos de trabalho críticos.

2. Metodologia (CodeCircuit)

O framework CodeCircuit é uma abordagem de "caixa branca" que trata a verificação de código como uma tarefa de diagnóstico mecanístico. Em vez de olhar apenas para o texto de saída, o método analisa a trajetória algorítmica latente do modelo.

Os principais componentes metodológicos são:

• Gráficos de Atribuição (Attribution Graphs - AGs): Utilizando o modelo de substituição local, os autores substituem as camadas MLP (Multi-Layer Perceptrons) padrão por Transcoders (Autoencoders Esparsos). Isso permite decompor o fluxo residual do modelo em um grafo causal de "features" (características) interpretáveis. O grafo mapeia como a informação flui desde os embeddings de entrada até os logits de saída.
• Extração de Características Estruturais ($\Phi$): O framework transforma a topologia complexa do grafo em um vetor de diagnóstico fixo. Essas características são divididas em três dimensões:
  1. Composição Mecânica: Inclui a razão de influência entre erro e característica ($\eta_i$), medindo o quanto o modelo depende de componentes não explicados (heurísticas opacas).
  2. Estrutura Global: Mede a densidade do grafo, o coeficiente de agrupamento (clustering) e a conectividade para identificar se o raciocínio é unificado ou fragmentado.
  3. Dinâmica de Atribuição: Analisa a centralidade de intermediação (betweenness centrality) para identificar "hubs" de informação e gargalos lógicos.
• Classificação Diagnóstica: Um classificador de árvores de decisão (GBDT) é treinado para mapear essas características estruturais em uma probabilidade de correção ($\hat{y}_i$).

3. Principais Contribuições

• Verificação Intrínseca: Demonstra que a correção do código está codificada em padrões estruturais da computação interna do modelo, permitindo a avaliação sem supervisão externa ou execução.
• Sinais Compartilhados e Robustez: Prova que os sinais de erro são consistentes entre diferentes linguagens de programação (Python, C++, Java), sugerindo que os LLMs aprendem circuitos computacionais universais que transcendem a sintaxe.
• Depuração Causal (Causal Debugging): O trabalho vai além da detecção passiva. Os autores demonstram que é possível realizar "intervenções mecânicas" (como o clamping de ativação) em nós específicos do grafo para corrigir logicamente um erro de código em tempo real.

4. Resultados Experimentais

• Desempenho Superior: O CodeCircuit superou significativamente todos os métodos de "caixa preta" (como Temperature Scaling e Perplexity) e métodos de "caixa cinza" (como Chain-of-Embedding) em todas as linguagens testadas. Em Python, atingiu um AUROC de 79,89, enquanto os métodos tradicionais ficaram em torno de 51,42.
• Generalização Zero-Shot: Um classificador treinado em uma linguagem (ex: Java) conseguiu generalizar para outras (ex: Python e C++), superando as métricas de probabilidade de superfície.
• Escalabilidade com a Complexidade: À medida que a complexidade do código e o número de linhas aumentam, a vantagem preditiva do CodeCircuit cresce, tornando-se mais robusto em tarefas mais difíceis.
• Prova de Causalidade: Em um estudo de caso de busca binária, o modelo gerou um erro de lógica (high = mid em vez de high = mid - 1). Ao suprimir a característica neural responsável pela heurística incorreta, o CodeCircuit forçou o modelo a gerar o código correto.

5. Significância e Impacto

O trabalho estabelece a introspecção interna como uma propriedade decodificável para verificar a confiabilidade de agentes de IA. A importância reside na transição de uma auditoria de "resultado" (o código funciona?) para uma auditoria de "processo" (o raciocínio interno foi logicamente íntegro?). Isso abre caminho para sistemas de engenharia de software automatizados que são não apenas capazes, mas intrinsecamente auditáveis e corrigíveis em nível neural.