💻 computer science

COBOL-Coder: Domain-Adapted Large Language Models for COBOL Code Generation and Translation

Este artículo presenta COBOL-Coder, un modelo de lenguaje especializado en COBOL que, gracias a un pipeline de curación de datos automatizado, supera significativamente a los modelos de propósito general en tareas de generación y traducción de código, logrando altas tasas de compilación y validación por parte de desarrolladores expertos.

Autores originales: Anh T. V. Dau, Shin Hwei Tan, Jinqiu Yang, Nghi D. Q. Bui, Anh Tuan Nguyen

Publicado 2026-04-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anh T. V. Dau, Shin Hwei Tan, Jinqiu Yang, Nghi D. Q. Bui, Anh Tuan Nguyen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este artículo científico es como la historia de un traductor de idiomas muy especial que ha sido entrenado para hablar un dialecto antiguo y complejo, mientras que los traductores modernos (como los que usamos en el celular) se pierden al intentar hablarlo.

Aquí tienes la explicación de "COBOL-Coder" usando analogías sencillas:

1. El Problema: El "Latín" de los Bancos

Imagina que el mundo financiero (bancos, seguros, gobierno) sigue funcionando con una máquina gigante y antigua llamada Mainframe. El idioma que habla esta máquina es COBOL. Es un idioma muy viejo, riguroso y estricto, como el latín de la informática.

Hoy en día, tenemos "super-inteligencias artificiales" (como GPT-4) que son geniales escribiendo en inglés, español o Python (el lenguaje moderno). Pero si le pides a estas IAs modernas que escriban en "latín" (COBOL), se traban. Es como pedirle a un experto en física cuántica que repare un reloj de cuerda de 1950; sabe mucho, pero no conoce las herramientas ni las reglas específicas de ese reloj viejo.

2. La Solución: Creando un "Entrenador Especializado"

Los autores del paper crearon un nuevo modelo llamado COBOL-Coder. No es un modelo nuevo desde cero, sino que tomaron un modelo inteligente existente y le dieron un curso intensivo para que se convirtiera en un experto en COBOL.

Para hacer esto, tuvieron que resolver tres problemas grandes:

A. El Problema de los Libros de Texto (Los Datos)

El problema principal es que no hay suficientes libros de texto de COBOL en internet. La mayoría del código COBOL está guardado en cajas fuertes de bancos y no es público.

La Analogía: Es como intentar aprender a tocar el violín clásico sin tener partituras, solo con unos pocos fragmentos sueltos.
La Solución: Crearon una "fábrica de datos" automática.
1. Cazaron código real: Buscaron en internet archivos de COBOL.
2. El Mecánico de Reparación (Compilador): Mucha de ese código estaba roto (como coches viejos que no arrancan). Usaron un "mecánico" (un compilador) que les dijo qué estaba mal, y luego usaron una IA para reparar esos errores automáticamente hasta que el código funcionara.
3. El Traductor de Doble Vía: Como no había suficiente código COBOL, tomaron código moderno (Java), lo tradujeron a COBOL y luego lo volvieron a traducir a Java para ver si el significado se mantenía. Si el mensaje volvía igual, ¡guardaban ese par de traducciones! Así crearon millones de ejemplos de entrenamiento.

B. El Entrenamiento (Ajuste Fino)

Una vez que tuvieron estos "libros de texto" limpios y reparados, entrenaron a su modelo (basado en Qwen2.5-Coder) con ellos.

La Analogía: Es como tomar a un estudiante brillante y darle 10 años de experiencia trabajando en un banco antiguo en solo unas semanas. Ahora, en lugar de ser un "generalista" que sabe un poco de todo, es un especialista en COBOL.

3. Los Resultados: ¿Quién gana la carrera?

Pusieron a prueba a su nuevo "COBOL-Coder" contra los gigantes actuales (como GPT-4o y otros modelos de código).

En Generación de Código (Escribir COBOL desde cero):
- Los modelos generales (GPT-4) intentaron escribir, pero el 60% de sus programas no funcionaban (no compilaban). Era como si un arquitecto dibujara una casa que se cae al primer viento.
- COBOL-Coder logró que el 74% de sus programas funcionaran a la primera. ¡Ganó por goleada!
En Traducción (Del Java moderno al COBOL antiguo):
- Esto es lo más difícil. Es como pedirle a alguien que escriba un poema moderno y lo convierta en un haiku antiguo sin perder el sentido.
- Los modelos generales casi fallaron por completo (casi 0% de éxito).
- COBOL-Coder logró traducir correctamente más del 34% de los casos, superando a todos los demás.

4. La Opinión de los Expertos (Los Abuelos del Código)

No solo probaron con máquinas, sino que hablaron con programadores reales que llevan décadas usando COBOL.

La Analogía: Imagina que le muestras un dibujo hecho por un niño (GPT-4) y otro hecho por un arquitecto experto (COBOL-Coder) a un constructor de 70 años.
El Veredicto: Los expertos dijeron que el código de COBOL-Coder se sentía "más profesional". Tenía la estructura correcta, seguía las reglas de la empresa y era más fácil de leer. Decían que los otros modelos a veces entendían la idea, pero escribían el código de una forma que "no se usaba en la vida real".

Conclusión: ¿Qué aprendimos?

El mensaje principal del paper es: No basta con tener una IA muy grande y general. Para idiomas antiguos y especializados como COBOL, necesitas datos de alta calidad y entrenamiento específico.

La metáfora final: No necesitas un Ferrari para arreglar un tractor viejo; necesitas un mecánico que conozca los tornillos de ese tractor específico. COBOL-Coder es ese mecánico experto, y gracias a él, podemos empezar a modernizar los sistemas bancarios del mundo sin romperlos.

¡Espero que esta explicación te haya ayudado a entender el papel de forma divertida y clara!

1. El Problema

A pesar de que COBOL sigue siendo un lenguaje crítico para sistemas mainframe en sectores como banca, seguros y gobierno, los Modelos de Lenguaje Grandes (LLMs) actuales tienen un rendimiento deficiente en tareas relacionadas con este lenguaje.

Escasez de Datos: El código COBOL de producción es mayoritariamente privado y no está disponible públicamente, lo que limita los datos de entrenamiento. Los LLMs entrenados en lenguajes modernos (Python, Java) no aprenden la sintaxis, los idiomatismos y las convenciones de dominio específicas de COBOL.
Falta de Benchmarks y Evaluación: Existen pocas métricas y conjuntos de datos robustos para evaluar la generación y, especialmente, la traducción bidireccional (COBOL $\leftrightarrow$ Java) de código heredado.
Bajo Rendimiento: Los modelos generales (incluso GPT-4) y los LLMs de código de código abierto (como CodeLlama o StarCoder) fallan estrepitosamente al generar programas COBOL compilables o al traducir código moderno a COBOL, a menudo produciendo código con errores sintácticos o semánticos graves.

2. Metodología

Los autores proponen un enfoque integral que combina la curación de datos, el ajuste fino (fine-tuning) y la creación de nuevos benchmarks.

A. Pipeline de Curación de Datos Automatizado

Se desarrolló un pipeline de tres etapas para construir un corpus de instrucción de alta calidad:

Fuente 1: Código Real de GitHub: Se extrajeron archivos COBOL de repositorios públicos. Se aplicó un filtrado estricto (eliminación de archivos pequeños, corruptos o duplicados).
- Validación por Compilador: Se utilizó un compilador (GnuCOBOL) para identificar errores. Un LLM (GPT-4o) actuó como un desarrollador experto para corregir los errores basándose en los logs del compilador en un ciclo iterativo ("compiler-in-the-loop") hasta que el código compilaba correctamente.
Fuente 2: Código Sintético (Traducción): Para mitigar la escasez de datos, se tradujeron programas de Java (de alto recurso) a COBOL utilizando el dataset Stack-v2-dedup-Java.
- Validación de Similitud: Se implementó una validación en dos pasos: puntuación de similitud basada en LLM y una traducción inversa (COBOL $\to$ Java) comparada con el original mediante puntuación de similitud basada en AST (Abstract Syntax Tree) y CodeBERTScore. Solo los pares que preservaban la lógica semántica se conservaron.
Fuente 3: Conocimiento de Mainframe: Se curaron libros de texto y documentación técnica, transformándolos en pares de preguntas y respuestas para enseñar conceptos teóricos y prácticas empresariales.

B. Modelo COBOL-Coder

Arquitectura: Se basa en la familia de modelos Qwen2.5-Coder (versiones de 7B y 14B parámetros).
Entrenamiento: Se realizó un instruction tuning (ajuste fino por instrucciones) utilizando el corpus curado anteriormente. No se cambiaron las arquitecturas base, sino que se especializó el modelo mediante los datos.

C. Nuevos Benchmarks

COBOL-JavaTrans: Es el primer benchmark diseñado para la traducción bidireccional entre COBOL y Java. Incluye 143 pares de tareas derivadas de HumanEval, adaptadas para probar tanto la modernización (COBOL $\to$ Java) como la migración inversa (Java $\to$ COBOL).

3. Contribuciones Clave

Pipeline de Datos Automatizado: Un sistema robusto que combina validación por compilador y filtrado basado en similitud para generar un corpus de entrenamiento masivo y de alta calidad para un lenguaje de bajo recurso.
COBOL-Coder: Un LLM especializado que supera a los modelos de propósito general y a los LLMs de código de código abierto en tareas de COBOL.
COBOL-JavaTrans: Un nuevo estándar de evaluación para la traducción de código heredado a moderno y viceversa, llenando un vacío en la investigación actual.
Evaluación con Expertos: Un estudio cualitativo con desarrolladores COBOL experimentados que valida la utilidad práctica del código generado más allá de las métricas automáticas.

4. Resultados

Los experimentos se dividieron en generación de código, traducción y evaluación humana.

A. Generación de Código (COBOLEval y COBOLCodeBench)

Tasa de Éxito de Compilación (CSR): COBOL-Coder-14B alcanzó un 73.95% de éxito de compilación, superando drásticamente a GPT-4o (41.8%) y a modelos de código abierto como CodeGemma o CodeLlama (0% en muchos casos).
Corrección Funcional (Pass@1): COBOL-Coder-14B obtuvo 49.33 en COBOLEval, frente a 16.4 de GPT-4o. En el benchmark más difícil (COBOLCodeBench), fue el único modelo que logró resultados no triviales (26.09% CSR, 4.35 Pass@1).

B. Traducción (COBOL-JavaTrans)

COBOL $\to$ Java: COBOL-Coder-14B logró un 97.90% de CSR y 83.91 Pass@1, superando a todos los LLMs de código abierto y acercándose al rendimiento de modelos masivos como GPT-oss-120B.
Java $\to$ COBOL (La tarea más difícil): Mientras que la mayoría de los LLMs fallaron completamente (0% CSR), COBOL-Coder-14B alcanzó un 72.03% de CSR y 34.93 Pass@1. Esto demuestra una capacidad superior para sintetizar código heredado correcto a partir de código moderno.

C. Evaluación con Desarrolladores

En una encuesta con tres desarrolladores expertos:

COBOL-Coder fue clasificado consistentemente como el mejor en tareas de traducción Java $\to$ COBOL y en la mayoría de las tareas de generación.
Los expertos destacaron que el código de COBOL-Coder era más "orientado a la producción", respetaba mejor la estructura de programas por lotes (batch), manejaba correctamente los archivos y seguía las convenciones empresariales, a diferencia de los modelos generales que tendían a sobre-diseñar o cometer errores estructurales.

5. Significado e Impacto

La Especialización es Crucial: El estudio demuestra que en lenguajes de bajo recurso y alta especificidad como COBOL, la calidad de los datos de dominio y la especialización del modelo son más importantes que simplemente aumentar el tamaño del modelo o usar modelos de propósito general.
Asimetría en la Traducción: Se evidencia que traducir de un lenguaje moderno a uno heredado (Java $\to$ COBOL) es significativamente más difícil que la inversa, requiriendo estrategias de modelado específicas.
Adopción en la Industria: Aunque los modelos mejoran drásticamente, los expertos indican que la adopción real requiere que las herramientas actúen como "asistentes de borrador" dentro de un flujo de trabajo humano, integrándose con copybooks, JCL y dependencias de sistema, más que como agentes autónomos.
Viabilidad de Modernización: COBOL-Coder ofrece una solución viable y práctica para acelerar la modernización de sistemas críticos, reduciendo la carga cognitiva en la migración de sistemas legacy.