Error Understanding in Program Code With LLM-DL for Multi-label Classification

1. Problema e Motivação

O artigo aborda o desafio crítico de identificar e classificar erros em código-fonte, especialmente erros de lógica que permitem que o código compile e execute, mas produzem resultados incorretos. Ferramentas tradicionais (compiladores e analisadores estáticos) são eficazes para erros sintáticos, mas falham em detectar falhas semânticas complexas.

O problema central é a classificação multi-rótulo (MLC) de erros. Um único fragmento de código pode conter múltiplos tipos de erros simultaneamente (ex: erro em um loop, um operador de comparação e uma chamada de função). A literatura existente tende a tratar LLMs (Large Language Models) e modelos de Deep Learning (DL) de forma isolada, não explorando plenamente a sinergia entre a compreensão semântica profunda dos LLMs e a capacidade de modelagem sequencial dos modelos recorrentes (RNNs) para tarefas de classificação de erros em ambientes educacionais e de engenharia de software.

2. Metodologia

Os autores propõem um framework híbrido unificado (LLM-DL) que combina a força de codificadores semânticos pré-treinados com decodificadores recorrentes para capturar tanto dependências estruturais quanto semânticas no código.

• Arquitetura Híbrida:

  • Codificador (LLM): Utiliza modelos Transformer especializados em código e linguagem natural, incluindo CodeT5, CodeT5+, GraphCodeBERT, UniXcoder, RoBERTa, PLBART e CoTexT. Estes modelos convertem o código em embeddings contextuais ricos.
  • Decodificador (DL): Os embeddings são processados por camadas de Redes Neurais Recorrentes (RNNs) para modelar dependências temporais e estruturais. As arquiteturas testadas são: GRU, LSTM, BiLSTM e BiLSTM com mecanismo de atenção aditiva (BiLSTM-A).
  • Saída: Uma camada totalmente conectada com ativação Sigmoid mapeia as características aprendidas para um vetor de probabilidade multi-rótulo.

• Dataset:

  • Utilização de um conjunto de dados real do sistema Aizu Online Judge (AOJ), contendo 95.631 pares de código (solução errada do aluno vs. solução aceita).
  • O dataset original com 55 rótulos de erro foi condensado em 11 rótulos resumidos baseados em frequência e similaridade semântica.
  • O código foi pré-processado (remoção de comentários, imports não utilizados, normalização) e tokenizado.

• Otimização e Treinamento:

  • Hiperparâmetros: Otimização rigorosa utilizando o framework Optuna (algoritmo TPE) para ajustar taxa de aprendizado, tamanho do hidden layer, dropout, tamanho do batch, weight decay e profundidade da rede.
  • Função de Perda: Binary Cross-Entropy with Logits (BCEWithLogitsLoss).
  • Foram avaliadas 32 variações de modelos (8 LLMs x 4 arquiteturas de RNN).

3. Contribuições Principais

1. Arquitetura Unificada: Primeira exploração sistemática da integração de LLMs baseados em Transformer com arquiteturas recorrentes (DL) especificamente para a compreensão de erros de programação em contexto multi-rótulo.
2. Framework de Otimização: Aplicação de um processo robusto de ajuste de hiperparâmetros via Optuna para garantir estabilidade e generalização em diferentes combinações de modelos.
3. Avaliação Abrangente: Avaliação extensiva utilizando uma métrica diversificada que inclui precisão média, Exact Match Accuracy, Hamming Loss, Jaccard Similarity, One-Error e variantes de ROC-AUC (micro, macro e ponderado).
4. Descoberta de Sinergia: Demonstra que a combinação de embeddings semânticos de LLMs com a modelagem sequencial de RNNs supera o uso isolado de qualquer uma das tecnologias para tarefas de diagnóstico de código.

4. Resultados Experimentais

Os experimentos foram conduzidos em um ambiente com GPU NVIDIA RTX 2080 Ti. Os resultados destacam:

• Melhor Modelo: A combinação CodeT5+ com GRU obteve o melhor desempenho global.
  • F1-score Ponderado (Weighted F1): 0.8243.
  • Precisão Média (AvgAcc): 91,84%.
  • Precisão de Correspondência Exata (EMAcc): 53,78%.
  • Hamming Loss: 0,0816 (indicando baixa taxa de erro por rótulo).
  • One-Error: 0,0708.
• Comparação de Arquiteturas:
  • Modelos baseados em GRU geralmente superaram LSTM e BiLSTM, provavelmente devido à sua eficiência de treinamento e menor risco de vanishing gradient, equilibrando bem a capacidade representacional com a complexidade.
  • Modelos como CodeT5 e GraphCodeBERT mostraram robustez consistente.
  • O RoBERTa padrão teve desempenho inferior em algumas combinações, mas a variante RoBERTa LR (com faixa de taxa de aprendizado ajustada e mais estreita) melhorou significativamente a estabilidade e o desempenho.
• Métricas de Classificação: O modelo CodeT5+ GRU também liderou em ROC-AUC (0,9283 ponderado) e Jaccard Similarity (0,7634), indicando excelente capacidade de discriminação e recuperação de conjuntos de rótulos.

5. Significado e Impacto

Este trabalho estabelece uma base sólida para o desenvolvimento de ferramentas inteligentes de feedback automatizado na educação em programação (PE) e na engenharia de software (SE).

• Educação: O sistema pode fornecer feedback detalhado e multi-rótulo para estudantes, ajudando-os a entender não apenas que o código está errado, mas quais tipos específicos de erros lógicos estão presentes simultaneamente.
• Escalabilidade: A abordagem híbrida permite um equilíbrio entre a profundidade semântica (via LLM) e a eficiência computacional (via RNNs leves como GRU), tornando-a viável para integração em sistemas de Online Judges e tutores inteligentes.
• Avanço Científico: O estudo preenche uma lacuna na literatura ao demonstrar que a integração de modelos de linguagem pré-treinados com redes neurais recorrentes é superior para tarefas complexas de classificação de erros de código, superando abordagens que utilizam apenas um ou outro paradigma.

Em resumo, o artigo valida que a fusão de LLMs especializados em código com arquiteturas recorrentes otimizadas é uma estratégia eficaz e superior para a compreensão e classificação de erros de programação em cenários do mundo real.