CodePDE: An Inference Framework for LLM-driven PDE Solver Generation

Probleemstelling

Partiële differentiaalvergelijkingen (PDE's) zijn fundamenteel voor het modelleren van fysische systemen in wetenschap en techniek. Het oplossen hiervan blijft echter een complexe uitdaging:

• Traditionele numerieke methoden: Vereisen diepgaande domeinkennis, handmatige tuning en uitgebreid debuggen. Ze zijn computatie-intensief en moeilijk te implementeren voor niet-experts.
• Neurale PDE-oplossers (bijv. PINNs, FNO): Vereisen grote hoeveelheden trainingsdata, zijn vaak "black boxes" (geen interpretatie van hoe een oplossing tot stand komt) en missen de garanties van gevestigde numerieke methoden.
• Grootte Taalmodellen (LLMs): Hoewel LLMs succesvol zijn in codegeneratie, is het nog onduidelijk of ze effectieve en efficiënte numerieke oplossers voor PDE's kunnen genereren, vooral zonder specifieke training op die taken.

De kernvraag is: Kunnen LLMs effectieve en efficiënte solver-code genereren voor PDE's, en hoe kunnen we hun inferentiecapaciteiten maximaliseren?

Methodologie: CodePDE

De auteurs introduceren CodePDE, het eerste inferentiekader dat PDE-oplossing formuleert als een codegeneratietaken. In plaats van dat het model de oplossing direct voorspelt, genereert het Python-code die een numerieke solver implementeert.

Het kader bestaat uit vijf stappen (gevisualiseerd in Figuur 1):

1. Taakspecificatie: De PDE (governing equation, domein, randvoorwaarden, beginvoorwaarden) wordt omgezet in een natuurlijke taalbeschrijving voor de LLM.
2. Codegeneratie: De LLM genereert een volledige solver-implementatie (bijv. eindige differenties, spectrale methoden) gebaseerd op een vooraf gedefinieerde functie-signatuur. Er wordt gebruikgemaakt van Chain-of-Thought prompting om complexe numerieke algoritmen te navigeren.
3. Debugging: De gegenereerde code wordt uitgevoerd. Als er fouten optreden (crash, NaN/Inf waarden), worden de error-traces teruggevoerd naar de LLM voor autonome correctie. Dit proces is iteratief (tot maximaal 4 rondes).
4. Evaluatie: De werkende solvers worden getest op:
   • nRMSE: Genormaliseerde Root Mean Squared Error ten opzichte van de grond-truth.
   • Convergentie: Of de fout afneemt bij verfining van het rooster (een cruciale test voor numerieke correctheid).
   • Efficiëntie: Exectutietijd.
5. Solver Refinement: Op basis van de nRMSE-resultaten en convergentie-evaluatie wordt de LLM gevraagd om de code te verbeteren (bijv. door betere tijdsintegratiemethoden of stabiliteitstechnieken toe te passen).

Het systeem ondersteunt Test-Time Scaling (bijv. "Best-of-N" sampling) om de beste oplossing uit meerdere generaties te selecteren.

Belangrijkste Bijdragen

1. CodePDE Framework: Een modulair, toekomstbestendig kader dat PDE-domeinkennis combineert met de zelfverbeterings- en schaalvergrotingscapaciteiten van LLMs.
2. Validatie van LLM-capaciteiten: Het paper toont aan dat LLMs, wanneer gekoppeld aan inferentie-technieken (debugging, zelf-refinement, scaling), prestaties kunnen bereiken die vergelijkbaar zijn met of zelfs beter zijn dan handgemaakte numerieke solvers en gespecialiseerde software.
3. Uitgebreide Studie: De eerste systematische analyse van LLM-genereren van PDE-solvers, inclusief inzichten in:
   • De trade-off tussen betrouwbaarheid en complexiteit van de solver.
   • Het onderscheid tussen het genereren van code en het verfijnen ervan.
   • Falen-modi bij complexe taken.

Resultaten

De auteurs hebben CodePDE getest met 16 verschillende LLMs (inclusief GPT-4o, Claude 3.7, DeepSeek-R1, Gemini 2.5 Pro, o3) op 5 representatieve PDE-families (Advection, Burgers, Reaction-Diffusion, Compressible Navier-Stokes, Darcy Flow).

• Prestatie: CodePDE met refinement overtreft handgemaakte referentie-solvers op 4 van de 5 taken. Bijvoorbeeld, op de Burgers-vergelijking bereikte Gemini 2.0 Flash een nRMSE van $1.06 \times 10^{-4}$, een verbetering van 70% ten opzichte van de referentie.
• Debugging: Zonder debugging is de succesrate van het genereren van werkende code slechts 41%. Na iteratief zelf-debuggen stijgt dit naar 84%. Frontier-modellen halen zelfs >90% succes.
• Zelf-Refinement: Het gebruik van feedback (nRMSE) voor iteratieve verbetering leidt tot aanzienlijke nauwkeurigheidsverbeteringen. Interessant is dat modellen die goed zijn in het genereren van code (zoals o3 en DeepSeek-R1) niet per se de beste zijn in het refineren ervan; dit zijn blijkbaar verschillende vaardigheden.
• Test-Time Scaling: Het vergroten van de inferentie-begroting (meer samples kiezen via Best-of-N) leidt tot een duidelijke verbetering in oplossingskwaliteit, met name tussen $N=4$ en $N=16$.
• Convergentie & Diversiteit: Er is een trade-off zichtbaar: sommige modellen kiezen conservatief voor simpele, robuuste methoden (lage faalrate, maar lagere orde), terwijl andere (zoals Gemini 2.5 Pro en o3) complexere, hogere-orde methoden genereren met een acceptabele faalrate.
• Uitzondering: Bij de Reaction-Diffusion vergelijking presteren alle LLMs slechter dan de referentie. De analyse toont aan dat LLMs vaak de analytische oplossing voor het reactieterm missen en deze numeriek benaderen, wat minder stabiel is. Menselijke hints kunnen dit echter oplossen.

Betekenis en Conclusie

CodePDE markeert een paradigmaverschuiving in wetenschappelijk computing:

• Interpreteerbaarheid: In tegenstelling tot neurale netwerken (black boxes), produceert CodePDE menselijk leesbare code. Dit maakt het mogelijk om fouten te diagnosticeren, de gebruikte numerieke methoden te inspecteren en mens-in-de-lus correcties toe te passen.
• Democratisering: Het verlaagt de drempel voor wetenschappers om geavanceerde numerieke solvers te gebruiken zonder diepgaande programmeerkennis.
• Toekomstperspectief: De studie benadrukt dat voor betrouwbare wetenschappelijke toepassingen een gestructureerd inferentiekader (met debugging, refinement en scaling) essentieel is. Het opent de weg voor "LLM-driven scientific engines" die niet alleen oplossingen vinden, maar ook de wiskundige redenering erachter transparant maken.

Kortom, CodePDE bewijst dat LLMs, ondersteund door slimme inferentie-strategieën, krachtige en betrouwbare generatoren van numerieke solvers kunnen zijn voor complexe fysieke systemen.