💻 computer science

COBOL-Coder: Domain-Adapted Large Language Models for COBOL Code Generation and Translation

Este artigo apresenta o COBOL-Coder, um modelo de linguagem especializado em COBOL desenvolvido por meio de um pipeline de curadoria de dados automatizado, que supera significativamente os modelos de linguagem gerais em tarefas de geração e tradução de código, conforme demonstrado por métricas de compilação e validação de especialistas.

Autores originais: Anh T. V. Dau, Shin Hwei Tan, Jinqiu Yang, Nghi D. Q. Bui, Anh Tuan Nguyen

Publicado 2026-04-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Anh T. V. Dau, Shin Hwei Tan, Jinqiu Yang, Nghi D. Q. Bui, Anh Tuan Nguyen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que o mundo dos computadores é como uma grande cidade. A maioria dos prédios modernos (os sistemas atuais) foi construída com tijolos de concreto e vidro, usando linguagem fácil de entender, como Java ou Python. Mas, espalhados por essa cidade, existem alguns arranha-céus antigos e gigantescos, construídos há 50 anos com um material muito específico e difícil: o COBOL.

Esses prédios antigos (sistemas bancários, governamentais e de seguros) ainda funcionam perfeitamente e sustentam a economia, mas ninguém mais sabe construí-los ou repará-los facilmente. Os novos "arquitetos" (Inteligências Artificiais modernas) são mestres em desenhar prédios de vidro, mas quando tentam desenhar um prédio antigo de COBOL, eles ficam confusos, erram as medidas e o projeto desmorona.

Este artigo apresenta uma solução chamada COBOL-Coder. Vamos explicar como eles fizeram isso usando analogias simples:

1. O Problema: O "Arquiteto" que não fala a língua antiga

As Inteligências Artificiais (LLMs) atuais são como estudantes universitários brilhantes que leram milhões de livros modernos. Eles são ótimos em escrever código novo, mas não estudaram COBOL. Quando você pede a eles para escrever um programa em COBOL, eles tentam adivinhar, mas o resultado é como tentar consertar um relógio suíço com um martelo: parece que está funcionando, mas na hora de testar (compilar), tudo explode.

2. A Solução: O "Apprendiz Especializado" (COBOL-Coder)

Os autores criaram um novo modelo de IA, o COBOL-Coder, que é como um estagiário especializado que foi treinado exclusivamente para entender a arquitetura antiga. Para fazer isso, eles usaram três truques principais:

O "Filtro de Qualidade" (A Pipeline de Dados):
Eles não pegaram qualquer código antigo da internet. Imagine que você quer aprender a cozinhar pratos antigos. Você não pega receitas rasgadas e incompletas. Eles usaram um "chef de cozinha" (um compilador de computador) para testar cada receita. Se a receita não funcionava, eles pediram para a IA corrigir o erro até que o prato saísse perfeito. Só os pratos que funcionavam foram guardados para o treinamento.
O "Tradutor de Espelhos" (Dados Sintéticos):
Como há poucos livros de receitas antigas, eles pegaram receitas modernas (código Java), pediram para a IA traduzir para a linguagem antiga (COBOL) e, em seguida, traduziram de volta para o Java. Se a receita original e a versão traduzida de volta fossem iguais, significava que a tradução foi boa. Isso criou milhares de novos exemplos de treinamento, como se eles estivessem criando novos livros de receitas baseados nos antigos.
O "Manual de Instruções" (Conhecimento):
Eles também alimentaram a IA com manuais técnicos e livros didáticos, transformando textos longos em perguntas e respostas, para que a IA não apenas memorizasse código, mas entendesse a lógica por trás dele.

3. O Resultado: O Arquiteto que funciona

Quando colocaram o COBOL-Coder à prova, a diferença foi absurda:

Os "Gênios Gerais" (como o GPT-4): Tentaram fazer o trabalho, mas falharam em compilar (construir) o código na maioria das vezes. Foi como pedir para um arquiteto de arranha-céus modernos desenhar um sistema de encanamento de uma casa de 1950; eles não entendem as regras.
O "COBOL-Coder": Conseguiu criar programas que funcionavam quase 74% das vezes (enquanto os outros ficavam abaixo de 42%). Na tradução de Java para COBOL (o trabalho mais difícil), ele foi o único que conseguiu produzir algo utilizável, enquanto os outros modelos falharam completamente.

4. A Opinião dos "Veteranos" (Pesquisa com Desenvolvedores)

Os autores não confiaram apenas nos números. Eles chamaram três programadores experientes em COBOL (os "velhos mestres" da cidade) para testar o trabalho.

O que eles disseram?

O COBOL-Coder parecia um "júnior competente". O código tinha a estrutura certa, usava as convenções da empresa e parecia um programa real.
Os outros modelos pareciam "alunos que estudaram a teoria, mas nunca viram uma máquina de verdade". O código deles tinha erros sutis, como esquecer de fechar um arquivo ou usar a lógica errada para o sistema antigo.

Conclusão: Por que isso importa?

Este trabalho nos ensina que, para tecnologias antigas e críticas, não basta ter uma IA gigante e inteligente. Você precisa de uma IA que tenha estudado especificamente aquele nicho.

É como se você precisasse de um médico especialista em doenças raras. Um generalista (GPT-4) é ótimo para gripe e febre, mas se você tem uma condição rara e antiga, você precisa de um especialista (COBOL-Coder) que leu todos os casos específicos e entende as nuances.

Em resumo: Os autores criaram um "estagiário especialista" que aprendeu a linguagem dos prédios antigos, permitindo que as empresas modernizem seus sistemas sem ter que demitir os poucos programadores veteranos que restaram. A IA não substitui o humano, mas vira um assistente poderoso que faz o trabalho pesado de rascunho, deixando o humano para revisar e garantir que tudo funcione.

Resumo Técnico: COBOL-Coder

1. O Problema

A linguagem COBOL continua sendo crítica para sistemas mainframe em setores como bancos, seguros e governo. No entanto, os Grandes Modelos de Linguagem (LLMs) atuais, embora eficazes em linguagens modernas (como Python e Java), falham significativamente ao lidar com COBOL devido a três desafios principais:

Escassez de Dados: A maioria do código COBOL de produção é proprietária e não está disponível publicamente, resultando em um corpus de treinamento limitado.
Divergência de Paradigmas: COBOL possui estruturas de programa, requisitos de formatação e layouts de dados distintos das linguagens modernas, o que confunde modelos treinados predominantemente em linguagens contemporâneas.
Falta de Benchmarks Adequados: Existem poucas avaliações abrangentes para tarefas de tradução bidirecional (COBOL $\leftrightarrow$ Java) e geração de código compilável.

Como resultado, os LLMs de propósito geral (como GPT-4) e modelos de código open-source (como CodeLlama e StarCoder) apresentam taxas de sucesso de compilação próximas de zero ou muito baixas em tarefas COBOL.

2. Metodologia

Os autores propõem uma abordagem de adaptação de domínio que envolve a criação de um pipeline automatizado de curadoria de dados e o ajuste fino (fine-tuning) de um modelo base.

A. Pipeline de Curadoria de Dados (Augmentation Pipeline)
O conjunto de dados de treinamento foi construído a partir de três fontes complementares, processadas através de um pipeline de três estágios (Figura 1 do artigo):

Fonte 1 (Código Real do GitHub): Extração de arquivos COBOL públicos, seguida de filtragem por tamanho e deduplicação.
- Validação Baseada em Compilador: Um compilador (GnuCOBOL) verifica a sintaxe. Se houver erros, um LLM (atuando como desenvolvedor experiente) corrige o código iterativamente até que ele compile.
Fonte 2 (Código Sintético via Tradução): Tradução de um grande corpus de Java (Stack-v2-dedup-Java) para COBOL.
- Validação de Similaridade: Após a correção sintética, a consistência semântica é verificada através de duas etapas: pontuação de similaridade baseada em LLM e back-translation (tradução de volta para Java) comparada ao original usando pontuação de similaridade baseada em AST (Árvore de Sintaxe Abstrata).
Fonte 3 (Conhecimento de Mainframe): Extração de textos de livros técnicos e documentação para criar pares de Pergunta-Resposta (Q&A), enriquecendo o modelo com conceitos teóricos e práticas empresariais.

B. Treinamento do Modelo (COBOL-Coder)

Base: O modelo é um fine-tuning da família Qwen2.5-Coder (versões de 7B e 14B parâmetros).
Ajuste: O modelo foi treinado com o conjunto de dados curado (instruções, pares de tradução e Q&A) usando Instruction Tuning.
Objetivo: Especializar o modelo na sintaxe, convenções e padrões de programação de COBOL, mantendo a capacidade de raciocínio geral da base.

3. Principais Contribuições

COBOL-Coder: Um LLM especializado em COBOL que supera significativamente os modelos de propósito geral e open-source em tarefas de geração e tradução.
Pipeline de Dados Automatizado: Uma metodologia robusta que combina validação de compilador e filtragem baseada em similaridade para criar dados de treinamento de alta qualidade a partir de fontes escassas e sintéticas.
COBOL-JavaTrans: O primeiro benchmark para tradução bidirecional entre COBOL e Java, projetado para cenários de modernização de sistemas legados.
Avaliação Prática: Um estudo com desenvolvedores experientes de COBOL para avaliar a utilidade real, legibilidade e aderência às práticas empresariais do código gerado.

4. Resultados Experimentais

Geração de Código (Benchmarks: COBOLEval e COBOLCodeBench)

COBOL-Coder-14B alcançou uma taxa de sucesso de compilação (CSR) de 73,95% e 49,33 Pass@1 no COBOLEval.
Em comparação, o GPT-4o obteve apenas 41,8% de CSR e 16,4 Pass@1.
A maioria dos modelos open-source (CodeGemma, CodeLlama, StarCoder2) obteve 0% em ambas as métricas.
No benchmark mais difícil (COBOLCodeBench), o COBOL-Coder-14B foi o único modelo a obter resultados não triviais (26,09% CSR).

Tradução de Código (Benchmark: COBOL-JavaTrans)

COBOL para Java: O COBOL-Coder alcançou 97,9% de CSR e até 83,91 Pass@1, superando todos os modelos open-source e competindo com modelos maiores.
Java para COBOL (Tarefa Mais Difícil): Enquanto a maioria dos LLMs falhou completamente (0% de sucesso), o COBOL-Coder-14B alcançou 72,03% de CSR e 34,93 Pass@1. Modelos gerais como GPT-4o tiveram desempenho próximo de zero nesta direção.

Estudo com Usuários (Pesquisa com Desenvolvedores)

Desenvolvedores experientes classificaram o COBOL-Coder como superior em consciência de COBOL, estrutura de programa e alinhamento com práticas empresariais.
O modelo foi percebido como mais "orientado à produção", enquanto os modelos gerais (GPT-4/4o) eram vistos como inconsistentes ou excessivamente complexos (overengineered).
O feedback qualitativo destacou que o COBOL-Coder reduz a carga cognitiva ao gerar rascunhos iniciais viáveis, embora a supervisão humana ainda seja necessária para integração em sistemas complexos.

5. Significado e Conclusão

O trabalho demonstra que, para linguagens legadas e de baixo recurso como COBOL, a qualidade e a especialização dos dados são mais críticas do que apenas o aumento da escala do modelo.

Assimetria na Tradução: A tradução de Java para COBOL é fundamentalmente mais difícil do que o inverso, exigindo modelos especializados que entendam as convenções legadas.
Adoção Real: O COBOL-Coder não substitui o desenvolvedor, mas atua como uma ferramenta eficaz de "geração de rascunhos" (draft generation) dentro de um fluxo de trabalho humano (human-in-the-loop), acelerando a modernização de sistemas críticos.
Futuro: O estudo aponta para a necessidade de modelos que compreendam contextos de repositório inteiro (incluindo copybooks e dependências entre arquivos) para uma adoção plena em ambientes corporativos.

Em suma, o COBOL-Coder preenche uma lacuna crítica na engenharia de software, oferecendo uma solução viável para a manutenção e modernização de sistemas legados que sustentam a economia global.