LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance

Titel: Analyse van attributie van Large Language Models (LLM's) voor geautomatiseerde naleving van bouwvoorschriften: Effecten van fine-tuning-strategieën en modelschalen

1. Probleemstelling

Hoewel Large Language Models (LLM's) veelbelovend zijn voor geautomatiseerde naleving van bouwvoorschriften (ACC) (Automated Code Compliance), waarbij complexe bouwregels worden omgezet in computer-verwerkbare scripts, wordt er in bestaand onderzoek vaak te weinig aandacht besteed aan de interpreteerbaarheid van deze modellen.

• Black-box benadering: Huidige studies focussen uitsluitend op prestatie-metrics (nauwkeurigheid), terwijl de interne interpretatiemechanismen van de LLM's als een "black box" worden behandeld.
• Onbekende invloed van training: Het is onduidelijk hoe verschillende trainingsbeslissingen (zoals de keuze tussen volledige fine-tuning versus parameter-efficiënte fine-tuning) en de schaal van het model (aantal parameters) de manier beïnvwoorden waarop het model tekstuele regels interpreteert.
• Gevolg: Dit gebrek aan inzicht vormt een barrière voor de adoptie van deze systemen in kritieke sectoren zoals de Architectuur, Ingenieurswetenschappen en Constructie (AEC), waar transparantie en betrouwbaarheid essentieel zijn.

2. Methodologie

De auteurs hanteren een gestructureerde aanpak in drie fasen om de interpretatieve gedragingen van LLM's te analyseren:

• A. Data en Modelconfiguratie:
  • Er werd gebruik gemaakt van een real-world dataset bestaande uit paren van bouwregels (in tekst) en de bijbehorende Python-scripts.
  • Variabelen: Twee hoofdfactoren werden getest:
    1. Fine-tuning strategie: Volledige Fine-tuning (FFT), Low-Rank Adaptation (LoRA) en Quantized LoRA (QLoRA).
    2. Modelschaal: Variatie in parametergrootte, variërend van 0,5B tot 22B parameters (o.a. Qwen, LLaMA, Mistral, Falcon).
• B. Prestatie-evaluatie:
  • De kwaliteit van de gegenereerde code werd gemeten met CodeBERTScore. Deze metric meet de semantische gelijkenis tussen de gegenereerde en referentie-scripts en is beter gekoppeld aan functionele correctheid dan traditionele token-overeenkomsten.
• C. Attributie-analyse (Explainability):
  • Er werd een perturbatie-gebaseerde attributiemethode toegepast (met de Captum-library).
  • Principe: Door systematisch woorden uit de invoerregels te verwijderen (ablatie) en de verandering in de log-kans van het genereren van het doel-script te meten, wordt de bijdrage van elk woord bepaald.
  • Doel: Identificeren welke specifieke woorden in een regel het meest invloedrijk zijn voor de output, waardoor inzicht wordt verkregen in wat het model "belangrijk" vindt.

3. Belangrijkste Bijdragen

• Schaduwanalyse van trainingsstrategieën: Het paper is een van de eerste die kwantitatief analyseert hoe FFT, LoRA en QLoRA de interne attributiepatronen (welke woorden worden gewaardeerd) beïnvloeden.
• Schaal-effecten op interpretatie: Het onderzoekt hoe de schaal van het model (van 3B naar 22B parameters) de strategie verandert waarmee het model regels ontleedt.
• Transparantie voor AEC: Het biedt een kader voor het begrijpen van de "black box" van LLM's in de bouwsector, wat essentieel is voor vertrouwen in geautomatiseerde regeltoepassing.

4. Resultaten

A. Prestatie en Fine-tuning Strategieën:

• Volledige Fine-tuning (FFT) leverde consistent de hoogste semantische scores op, wat aangeeft dat het bijwerken van alle parameters de meest accurate mapping van tekst naar code mogelijk maakt.
• LoRA presteerde iets slechter dan FFT, maar nog steeds goed.
• QLoRA (gequantiseerde fine-tuning) presteerde over het algemeen het slechtst. De 4-bit quantisatie lijkt een significant verlies aan fideliteit te veroorzaken, wat vooral negatief uitpakt voor complexe taken zoals regelinterpretatie.

B. Attributiepatronen (Interpretatiegedrag):

• FFT vs. PEFT: FFT-modellen vertonen statistisch verschillende en geconcentreerdere attributiepatronen. Ze focussen sterk op een klein aantal kritieke termen.
• LoRA/QLoRA: Deze methoden vertonen een diffuusere attributie, waarbij de aandacht over meer woorden wordt verspreid. Dit kan wijzen op onzekerheid of een minder scherpe latente mapping van de regels.
• Cosine-similariteit: De attributiepatronen van QLoRA en LoRA lijken meer op elkaar dan op die van FFT (gemiddelde cosine-similariteit van 0,451 vs. 0,288/0,293 voor vergelijkingen met FFT).

C. Invloed van Modelschaal:

• Prestatieplateau: Hoewel er een stijgende trend is in prestaties van 0,5B tot ~7B parameters, plateaut de prestatie voor modellen groter dan 7B (tot 22B) wanneer QLoRA wordt gebruikt. Dit suggereer afnemende meerwaarde van schaalvergroting voor deze specifieke taak onder beperkte trainingsomstandigheden.
• Verschillende interpretatiestrategieën:
  • Kleine modellen (3B): Verspreiden hun attributie breed, wat wijst op minder zekerheid over welke woorden cruciaal zijn.
  • Grote modellen (22B): Vertonen een geconcentreerde en verfijnde strategie. Ze leren specifieke patronen te herkennen, zoals het prioriteren van:
    • Numerieke constraints (bijv. "2.2 meters").
    • Regelidentificatoren (bijv. "4.3.11d").
  • Grote modellen zijn beter in staat om de kern van de logica te isoleren (bijv. het woord "perimeter" in brandweer-toegangswegen) in plaats van breed te spreiden.

5. Betekenis en Conclusie

Dit onderzoek benadrukt dat hoe een model wordt getraind en hoe groot het is, fundamenteel verandert hoe het regels interpreteert, niet alleen hoe goed het presteert.

• Transparantie: Voor kritieke toepassingen in de bouwsector is het cruciaal om te weten dat FFT leidt tot meer gerichte en waarschijnlijk betrouwbaardere interpretaties dan goedkopere PEFT-methoden.
• Schaalbeperkingen: Het bereiken van een prestatieplateau bij grotere modellen (bij gebruik van QLoRA) suggereert dat schaalvergroting alleen niet de oplossing is; de trainingsmethode (quantisatie) kan een bottleneck vormen.
• Toekomst: De studie zet een stap richting het bouwen van verklarende LLM's voor de AEC-industrie. Het stelt onderzoekers en praktici in staat om te begrijpen welke tekstuele features modellen prioriteren, wat essentieel is voor het vertrouwen in en de validatie van geautomatiseerde nalevingssystemen.

Kortom, het paper waarschuwt dat het blindelings vertrouwen op prestatie-metrics onvoldoende is; inzicht in de attributiepatronen is noodzakelijk om te begrijpen of een model de regels "begrijpt" of slechts statistische patronen nabootst.