Resumen Técnico: Estrategias de Optimización de Tokens para la Migración de Oracle a PostgreSQL Basada en LLM

1. Declaración del Problema

La migración de artefactos heredados de SQL y PL/SQL de Oracle a PostgreSQL es un componente crítico de la modernización del software empresarial. Si bien los Modelos de Lenguaje Grande (LLM) ofrecen potencial para automatizar esta transformación, el proceso está actualmente limitado por el alto consumo de tokens, la degradación en contextos largos (el fenómeno "perdido en el medio") y el riesgo de deriva semántica.

Inyectar directamente esquemas grandes de Oracle, lógica procedimental y reglas de migración en los prompts de los LLM aumenta los costos de la API y a menudo degrada la calidad de la generación. Los enfoques existentes para la compresión de prompts o la generación general de Texto-a-SQL no abordan adecuadamente las restricciones específicas de la migración de dialectos, donde preservar la semántica procedimental, las restricciones de esquema y los significados de los identificadores es primordial. El problema central es cómo reducir el tamaño del contexto sin perder la información semántica requerida para una migración correcta y sintácticamente válida.

2. Metodología

El estudio formaliza la optimización de tokens como un problema de transformación restringido dentro del Desarrollo Impulsado por Especificaciones (SDD). Los autores proponen una tubería donde el contexto de migración (código fuente, especificaciones, reglas) es transformado por una función de estrategia $f_i$ antes de ser pasado a la función de generación del LLM $G$.

A. Taxonomía de Estrategias

Se definieron y evaluaron doce estrategias distintas de optimización de tokens:

1. Línea Base: SQL/PL/SQL de Oracle sin modificar.
2. Poda de Contexto: Eliminación de comentarios y parámetros físicos específicos de Oracle (por ejemplo, TABLESPACE, STORAGE).
3. Minificación: Colapso de espacios en blanco y saltos de línea redundantes.
4. Compresión Semántica (DSL): Mapeo de estructuras SQL repetitivas a formas simbólicas compactas.
5. Aumento de Metadatos: Inyección de propiedades del esquema y parámetros clave como anclas semánticas.
6. Refactorización de Contexto: Eliminación de caracteres de comillas innecesarios en los identificadores.
7. Destilación de Esquema: Eliminación de definiciones procedimentales secundarias para retener solo la lógica central del esquema.
8. Enrutamiento Adaptativo: Selección dinámica de una estrategia de optimización basada en la complejidad estructural de la entrada (por ejemplo, porcentaje de PL/SQL).
9. Minificación Basada en AST: Análisis del SQL en un Árbol de Sintaxis Abstracta (AST) para eliminar nodos redundantes antes de la serialización.
10. Enmascaramiento de Identificadores: Reemplazo de nombres de tablas/columnas verbosos con alias deterministas cortos.
11. Aplicación de Restricciones de Salida: Restricción del prompt del sistema del LLM para evitar salida conversacional, markdown o formato adicional.
12. Optimización Híbrida: Combinación de compresión de entrada adaptativa con restricciones de salida.

B. Configuración Experimental

• Conjunto de Datos: Dos subconjuntos de artefactos de SQL/PL/SQL de Oracle emparejados con traducciones validadas a PostgreSQL: una muestra de 10 consultas para validación inicial y una muestra de 100 consultas para robustez estadística.
• Modelo: GPT-4o se utilizó como LLM objetivo.
• Métricas de Evaluación:
  • Tasa de Sintaxis Válida (VSR): Porcentaje de salidas analizables como PostgreSQL válido.
  • Coincidencia Exacta (EM): Coincidencia idéntica en caracteres con la referencia.
  • Coincidencia Semántica (SM): Equivalencia funcional mediante comparación de AST o evaluación experta.
  • CodeBLEU: Métrica de similitud estructural.
  • Eficiencia de Tokens (TE): Retorno semántico sobre el costo de tokens ($SM / (T_{in} + T_{out})$).

3. Resultados Clave

La evaluación en la muestra de 100 consultas reveló compensaciones significativas entre la reducción de tokens y la calidad de la migración:

• Estrategias Seguras: La Poda de Contexto fue la optimización más segura, reduciendo los tokens de entrada en un 1.19% y los tokens de salida en un 1.08%, manteniendo una Coincidencia Semántica del 89.75% (casi idéntica al 89.80% de la línea base).
• Compensación Óptima: El Enrutamiento Adaptativo proporcionó el mejor equilibrio práctico. Redujo los tokens de entrada en un 8.72% y los tokens de salida en un 5.49%, manteniendo una Coincidencia Semántica del 88.40% y aumentando la Eficiencia de Tokens en un 6.67%.
• Estrategias Agresivas de Alto Riesgo:
  • La Destilación de Esquema logró reducciones masivas de tokens (81.72% de entrada, 74.64% de salida) y un aumento del 132.22% en la Eficiencia de Tokens. Sin embargo, esto se logró a costa de una caída de 44.50 puntos porcentuales en la Coincidencia Semántica, haciendo que la salida fuera funcionalmente incorrecta para lógica compleja.
  • El Enmascaramiento de Identificadores redujo los tokens de entrada en un 33.30%, pero provocó una caída de 30.08 puntos porcentuales en la Coincidencia Semántica, confirmando que los identificadores específicos del dominio son cruciales para inferir la lógica empresarial.
• Restricciones de Salida: Restringir el formato de salida redujo los tokens de salida en un 15.05%, pero degradó la Tasa de Sintaxis Válida en 7 puntos porcentuales y la Coincidencia Semántica en 10.78 puntos porcentuales, lo que sugiere que las restricciones excesivamente estrictas obstaculizan la capacidad del modelo para generar SQL correcto.

4. Contribuciones Clave

1. Propuesta de Taxonomía: El artículo introduce una taxonomía formal de doce estrategias de optimización de tokens diseñadas específicamente para la migración de Oracle a PostgreSQL.
2. Formalización del Problema: Plantea la optimización de tokens no como un simple acortamiento de prompts, sino como un problema de transformación restringida multiobjetivo que equilibra costo, validez sintáctica y preservación semántica.
3. Evidencia Empírica: El estudio proporciona una comparación empírica rigurosa de estas estrategias a través de diversas complejidades de consultas, demostrando que la compresión agresiva a menudo conduce a una deriva semántica.
4. Modelo de Decisión: Se propone un modelo práctico de selección de estrategias, aconsejando el uso de poda leve para necesidades de alta fidelidad y enrutamiento adaptativo para migraciones heterogéneas escalables, advirtiendo al mismo tiempo contra la destilación agresiva para lógica procedimental.

5. Significado y Afirmaciones

El artículo afirma que la optimización de tokens en la migración de bases de datos basada en LLM no puede tratarse como una tarea unidimensional de reducción de costos. Los hallazgos demuestran que la reducción agresiva de tokens a menudo resulta en degradación semántica, haciendo que la salida de la migración sea funcionalmente inútil a pesar de métricas altas de eficiencia de tokens.

El significado principal radica en establecer que la compresión de contexto adaptativa es superior a la compresión uniforme. Al enrutar dinámicamente las entradas basándose en la complejidad estructural (por ejemplo, distinguiendo entre DDL puro y PL/SQL complejo), las organizaciones pueden lograr una reducción "segura" en el uso de tokens (aproximadamente 8-9%) sin comprometer la integridad semántica del código migrado. El estudio concluye que la migración exitosa depende de equilibrar el costo contra la fidelidad estructural, donde la poda leve y el enrutamiento adaptativo representan las estrategias de producción más viables.