Technische Samenvatting: Fine-tuned LLM-gebaseerd Framework voor Codemigratie

Probleemstelling

Het migreren van grootschalige databasebeheersystemen (DBMS) van Oracle naar PostgreSQL is een complexe, interdisciplinaire uitdaging die veel verder gaat dan eenvoudige syntaxisconversie. De auteurs identificeren verschillende kritieke barrières:

• Semantische en Structurele Dispariteiten: Er bestaan significante verschillen tussen Oracle PL/SQL en PostgreSQL PL/pgSQL met betrekking tot syntaxis, datatypen, cursorgedrag en query-optimalisatiestrategieën.
• Schaal en Afhankelijkheid: Grote codebases bevatten vaak honderdduizenden onderling afhankelijke bestanden, wat automatische analyse en transformatie bemoeilijkt.
• Beperkingen van Bestaande Tools: Traditionele regelgebaseerde tools (bijv. AWS Schema Conversion Tool, Ora2PG) worstelen met diepe contextuele analyse, dynamische SQL, complexe triggers en uitzonderingsafhandeling, wat vaak resulteert in incomplete vertalingen of semantische drift.
• LLM-beperkingen: Hoewel Large Language Models (LLMs) veelbelovend zijn, lijden ze vaak aan systematische fouten zoals semantische drift, mismatches in API-aanroepen en inconsistente mapping van controlstructuren wanneer ze direct worden toegepast zonder domeinspecifieke adaptatie.

Het kernwetenschappelijke probleem is het gebrek aan een verenigd, iteratief framework dat fine-tuning combineert met prompt engineering om de semantische integriteit te waarborgen, architecturale risico's te minimaliseren en een hoge getrouwheid (fidelity) van migratie te bereiken over massieve, heterogene codebibliotheken.

Methodologie

De voorgestelde oplossing is een iteratief, schaalbaar framework dat Generatieve AI (GAI) integreert met traditionele software engineering technieken. De methodologie is gestructureerd rond enkele sleutelcomponenten:

1. Tweestaps Fine-Tuning Ratio

De auteurs verwerpen een enkel holistisch leerproces ten gunste van een tweestaps instructie-tuning pipeline:

• Fase 1 (Syntactische Uitlijning): Het model wordt getraind op een dataset die code koppelt aan natuurlijke taalbeschrijvingen (<Code> : <Beschrijving>). Deze fase richt zich op het leren van de structurele patronen, dialectnuances, type-signatures en scope-regels van zowel Oracle als PostgreSQL zonder directe conversie uit te voeren.
• Fase 2 (Transformatiegedrag): Het model wordt gefine-tuned op directe transformatieparen (<Oracle Code> : <PostgreSQL Code>). Deze fase verschuift de focus van het model van syntactisch begrip naar procedurele logica-conversie, waarbij de semantische integriteit wordt gewaarborgd terwijl blokken, cursors en exceptions worden getransformeerd.

2. Hybrid Code Feature Profiling Engine (HCFPE)

Om de heterogeniteit van de codebase te beheren, annoteert de HCFPE de corpus met SQL-feature metadata (syntaxismarkers, flow-structuren, dialectspecifieke operatoren). Dit zet ongestructureerde code om in een gestructureerde representatie, wat de creatie van gestratificeerde datasets (klein, middel, groot) mogelijk maakt en ervoor zorgt dat de trainingsdata de distributie van features zoals RMAN, SQL*Plus en PL/SQL accuraat reflecteert.

3. Knowledge Base Architecturen en RAG

Het framework maakt gebruik van Retrieval Augmented Generation (RAG) met twee verschillende strategieën:

• Strategie A (Hybride Knowledge Base): Maakt gebruik van drie afzonderlijke vector databases voor Oracle-code, PostgreSQL-documentatie en door SME's afgeleide transformatieregels. Dit stelt de LLM in staat om context te trianguleren, waarbij deterministische regels en autoritatieve syntaxisdocumentatie naast codevoorbeelden worden toegepast.
• Strategie B (Unified Knowledge Base): Gebruikt een enkele vector database die uitsluitend directe "Oracle-PostgreSQL" transformatieparen bevat. Dit test het vermogen van het model om te generaliseren op basis van louter voorbeelden, zonder expliciete regelhandhaving.

4. Human-in-the-Loop en Foutcorrectie

Het framework incorporeert een closed-loop iteratielogica:

• Evaluatie: Outputs worden beoordeeld met behulp van NLP-metrics (Recall, BLEU, ChrF) en structurele validators (syntaxischeckers, statische analysers).
• Foutanalyse: Fouten worden gecategoriseerd in syntaxis, semantiek, structuur en functionaliteit.
• SME Feedback: Subject Matter Experts grijpen alleen in bij ambigue of complexe samples. Hun feedback wordt gebruikt om de dataset uit te breiden en annotaties te verfijnen.
• Dataset Estimatie: Een wiskundig mechanisme berekent een "Gap"-metriek ($GAP_{Feature}$) voor elke SQL-feature. Deze metriek combineert datasetrepresentatie ($GAP_{Dict}$) en modelkwaliteit ($GAP_{Quality}$) om automatisch te prioriteren welke features extra trainingssamples vereisen voor de volgende iteratie.

5. Experimentele Pipelines

De studie evalueert vier afzonderlijke pipelines:

1. Directe Conversie: Standaard prompt-gebaseerde conversie zonder externe context.
2. History-Aware Conversie: Integreert eerder gegenereerde chunks als context om de statusconsistentie te behouden.
3. RAG Strategie A: Haalt heterogene context op (regels, docs, code).
4. RAG Strategie B: Haalt uitsluitend gepaarde transformatievoorbeelden op.

Belangrijkste Resultaten

De studie evalueerde meerdere modellen (Qwen32B, Qwen7B, GPT-4 varianten) tegenover de traditionele tool Ora2PG op een dataset van meer dan 1.800 bestanden, gestratificeerd naar grootte.

• Superioriteit van Fine-tuned LLMs: Het gefine-tuned Qwen32B-model (Qwen32B-ft2) presteerde consistent beter dan alle andere kandidaten en de Ora2PG tool. In de Direct Conversion pipeline bereikte het een bestandconversie-efficiëntie van 74,57%, vergeleken met 49,66% voor Ora2PG.
• Reductie van Fouten: Fine-tuning verminderde de Syntax Error Rates (SER) aanzienlijk. Het Qwen32B-ft2 model produceerde de minste foutenbevattende bestanden (205) en de laagste totale foutenaantal (3.554) in de conversiepipeline, terwijl base-modellen en kleinere LLM's aanzienlijk hogere foutvolumes cumuleerden.
• Feature Dekking: Gefine-tuned modellen vertoonden een superieure uitlijning met de verwachte PostgreSQL feature-distributies. Zo behaalde Qwen32B-ft2 een dekking van 72,3% voor CORE_SQL en 69,1% voor PL/SQL naar PL/pgSQL conversie, terwijl Ora2PG substantiële informatieverlies vertoonde (bijv. 47,5% PL/SQL dekking) en een systematische onderproductie van procedurele logica.
• Impact van RAG: Hoewel RAG aanvullende voordelen bood, leverden de history-aware pipeline en directe conversie met gefine-tuned modellen de meest stabiele resultaten op. Strategie A (Hybride) bood robuustheid voor complexe features, terwijl Strategie B sterke prestaties toonde wanneer hoogwaardige gepaarde datasets beschikbaar waren.
• Economische Impact: De auteurs schatten dat een enkele fine-tuning iteratie de automatische migratie van ongeveer 27.690 meer bestanden mogelijk maakte dan Ora2PG zou doen. Dit vertaalt zich in een reductie van ongeveer 9 persoonlijk maanden aan handmatige SME-arbeid voor een codebase van 100.000 bestanden.

Betekenis en Claims

Het artikel claimt een methodologische fundering te bieden voor grootschalige databasemigratie die de kloof overbrugt tussen regelgebaseerde automatisering en de semantische complexiteit van moderne codebases.

• Iteratieve Kwaliteitscontrole: De primaire bijdrage is de "GAP-gebaseerde dataset estimatie" mechanisme, dat migratie transformeert van een statische engineering taak naar een data-gedreven optimalisatieloop. Dit maakt gerichte datasetexpansie mogelijk, waardoor modelverbeteringen worden gedreven door specifieke prestatiedeficiënties in plaats van blinde data-accumulatie.
• Schaalbaarheid: Het framework is ontworpen om enterprise-schaal bibliotheken (100.000+ bestanden) te verwerken door migratiekwaliteit te deconstrueren in feature-niveau metrieken, wat de exponentiële groei van de handmatige workload voorkomt die bij traditionele methoden optreedt.
• Hybride Aanpak: De studie valideert dat een combinatie van tweestaps fine-tuning (voor structurele competentie) en RAG (voor contextuele gronding) superieure resultaten oplevert vergeleken met elk van deze benaderingen alleen of traditionele regelgebaseerde tools.
• Economische Haalbaarheid: Door de reductie in handmatige inspanning te kwantificeren, betoogt het artikel dat LLM-gebaseerde migratie niet alleen technisch haalbaar is, maar ook economisch voordelig is, met een snelle ROI zelfs met een bescheiden initiële datasetvoorbereiding (30k trainingssamples voorbereid in zes sprints).

De auteurs concluderen dat hoewel validatie op executieniveau een toekomstig doel blijft, het voorgestelde framework succesvol een schaalbare, precieze en economisch levensvatbare aanpak heeft gevestigd voor enterprise database modernisering.