COBOLAssist: Analyzing and Fixing Compilation Errors for LLM-Powered COBOL Code Generation

Resumo Técnico: COBOLAssist

1. O Problema

A linguagem COBOL (Common Business-Oriented Language) continua sendo crítica para a infraestrutura global, suportando sistemas bancários, de seguros e governamentais. No entanto, a manutenção desses sistemas enfrenta dois desafios principais:

• Escassez de Talentos: Há uma diminuição drástica no número de desenvolvedores experientes em COBOL.
• Limitações dos LLMs: Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado sucesso em gerar código para linguagens modernas (como Python e Java), eles falham frequentemente ao gerar código COBOL. Isso ocorre porque o COBOL é uma linguagem de "baixo recurso" (poucos dados públicos para treinamento) e possui uma sintaxe rígida e estruturada.
• Falhas de Compilação: Os LLMs geram código que frequentemente não compila devido a erros de sintaxe, estrutura e semântica específicos do COBOL, tornando a geração automática de código inviável sem correção manual.

2. Metodologia

Os autores desenvolveram uma abordagem em duas etapas principais: a categorização dos erros e a criação de uma ferramenta de correção automática.

A. Categorização de Erros de Compilação
Os pesquisadores analisaram 876 programas COBOL gerados por LLMs (usando o benchmark COBOLEval) e compilados com o GnuCOBOL. Eles identificaram e categorizaram os erros em três grupos principais, contrastando-os com erros de código escrito por humanos:

1. Erros de Código Incompleto: Falta de terminadores explícitos em blocos de controle (ex: END-IF, END-PERFORM) ou sentenças não terminadas corretamente (falta de ponto final).
2. Erros de Sintaxe:
   • Uso incorreto de estruturas de programa (ex: duplicação de seções LINKAGE SECTION).
   • Uso incorreto de palavras reservadas.
   • Uso incorreto de funções embutidas (ex: sintaxe errada de FUNCTION MOD).
   • Objetos indefinidos (variáveis usadas antes de serem declaradas).
3. Erros Relacionados a Tipos: Incompatibilidade de tipos de dados (ex: atribuir valor alfanumérico a campo numérico).

B. COBOLAssist (Framework de Auto-Depuração)
Foi proposto o COBOLAssist, um framework iterativo que utiliza feedback do compilador para corrigir erros automaticamente:

1. Geração Inicial: O LLM gera o código com base no problema.
2. Compilação: O código é compilado. Se falhar, o log de erro do compilador é capturado.
3. Iteração de Correção: O log de erro e o código original são enviados de volta ao LLM (com um prompt que o instrui a atuar como um engenheiro de software experiente em COBOL) para gerar uma versão corrigida.
4. Repetição: O ciclo se repete até que o código compile com sucesso ou seja atingido um limite máximo de iterações (definido em 3 para o estudo principal).

3. Contribuições Principais

• Primeiro Estudo Empírico de Erros em COBOL Gerado por IA: Identificação de padrões de erro únicos em LLMs, como o uso incorreto de funções embutidas e terminação incompleta de blocos, que são raros em código humano.
• Proposta do COBOLAssist: Um método prático e eficaz para aumentar a taxa de sucesso de compilação através de um ciclo de feedback guiado pelo compilador.
• Análise Comparativa: Avaliação detalhada de modelos proprietários (GPT-3.5, GPT-4, GPT-4o-mini, GPT-4o) e de um modelo de código aberto especializado (mAInframer).

4. Resultados Experimentais

O estudo foi realizado no benchmark COBOLEval (146 tarefas) com cinco modelos de LLM.

• Taxa de Sucesso de Compilação (CSR):
  • O COBOLAssist aumentou drasticamente a taxa de sucesso.
  • GPT-4o: De 41,8% para 95,89%.
  • GPT-4o-mini: De 29,5% para 64,38%.
  • mAInframer-34B: De 74,66% para 97,94% (quando acoplado ao GPT-4o para a depuração).
• Corretude Funcional (Pass@1):
  • A correção de erros de sintaxe também melhorou a funcionalidade do código.
  • GPT-4: O pass@1 saltou de 9,1 para 22,6.
  • GPT-4o: De 16,4 para 29,45.
• Eficiência: Em média, o framework resolveu os erros em menos de 2 iterações. O GPT-4o foi o mais eficiente, reduzindo os erros em 81,07%.
• Limitações Identificadas: Embora a taxa de compilação tenha melhorado, o mAInframer-34B manteve uma corretude funcional baixa (pass@1 de 11,67) apesar de compilar quase sempre. Isso indica que o código pode ser sintaticamente correto, mas semanticamente falho (lógica incorreta).
• Erros Resistentes: Os erros mais difíceis de corrigir automaticamente foram os relacionados a estruturas complexas de programa, uso de funções embutidas e terminação de blocos aninhados, exigindo um entendimento contextual profundo que os LLMs ainda possuem dificuldade.

5. Significado e Implicações

• Para Desenvolvedores: O estudo alerta que o uso de LLMs para COBOL exige atenção a erros específicos (como terminação de blocos) que não são comuns em código humano. O fluxo de trabalho do COBOLAssist oferece um caminho prático para reduzir o tempo de manutenção.
• Para Pesquisadores: A descoberta de novos tipos de erros (ex: uso incorreto de funções embutidas) sugere que os LLMs atuais têm lacunas na compreensão da semântica estruturada do COBOL. Futuras pesquisas devem focar em abordagens "sensíveis à sintaxe" (usando árvores de sintaxe abstrata) e correção semântica, não apenas sintática.
• Modernização de Legado: O trabalho demonstra que a combinação de LLMs com técnicas de auto-correção iterativa é viável para modernizar e manter sistemas legados críticos, superando a barreira da escassez de desenvolvedores humanos.

Em resumo, o COBOLAssist valida que, embora os LLMs sofram com a geração inicial de código COBOL, eles podem alcançar alta confiabilidade quando guiados por feedback de compiladores em um processo iterativo, abrindo caminho para a automação da manutenção de sistemas legados.