Technische Samenvatting: Lantern: Conflict-bewuste Gradiënt Blending voor Physics-gestuurde Diffusiemodellen in Calorimeter Simulatie

1. Probleemstelling

Monte Carlo (MC) simulatie van calorimeter-showers (bijv. met Geant4) is een computationele bottleneck voor de High-Luminosity Large Hadron Collider (HL-LHC). Hoewel diffusiemodellen zijn opgekomen als snelle, hoogwaardige surrogaten, is hun standaard denoising-doelstelling puur statistisch. Bijgevolg kan een model de loss minimaliseren terwijl het faalt in het reproduceren van de onderliggende fysieke correlaties, met name over calorimeter-lagen en voxels heen.

Bestaande physics-informed generatieve methoden zijn slecht geschikt voor dit domein omdat ze doorgaans uitgaan van:

1. Een gesloten vorm van een wetmatigheid of PDE-residue (wat stochastische showers niet bezitten).
2. Harde per-sample constraints (shower-fysica wordt gedefinieerd door ensemble-statistieken, niet door per-sample behoudswetten buiten de totale energie).
3. Standaard multi-task learning (MTL) combinatieregels (bijv. PCGrad, GradNorm) die de generatieve doelstelling en de hulp-physics doelstellingen als gelijken behandelen. Deze "gelijke behandeling" leidt vaak tot degradatie van de generatieve getrouwheid omdat de hulp-gradiënten de denoising-gradiënt kunnen overschrijven, wat leidt tot mode collapse of instabiele training.

Bovendien falen standaard evaluatiemetrieken zoals de Fréchet Physics Distance (FPD) en Kernel Physics Distance (KPD) in het vangen van de specifieke correlatiestructuur tussen lagen en voxels, hoewel ze monsters vergelijken in een feature-ruimte.

2. Methodologie

Het voorgestelde framework, Lantern, adresseert deze hiaten via een nieuwe metriek, twee physics-bewuste hulp-losses, en een conflict-bewuste gradiënt blending-regel. De architectuur volgt een twee-fasen ontwerp (Energy Network en Shape Network) gebaseerd op CaloDREAM, waarbij alle innovaties worden toegepast op het Shape Network.

2.1 Correlation Frobenius Distance (CFD)

Om het blinde vlek in standaard metrieken aan te pakken, introduceren de auteurs de Correlation Frobenius Distance (CFD).

• Definitie: Een enkele genormaliseerde score die de getrouwheid van correlatiestructuren op zowel laag- als voxel-schaal meet.
• Mechanisme: Het berekent de Pearson-correlatiecoëfficiënten tussen aangrenzende lagen en transversale posities voor zowel de referentie (Geant4) als de gegenereerde monsters, waardoor een correlatie-tensor wordt gevormd. De CFD is de genormaliseerde Frobenius-afstand tussen de gegenereerde en referentie correlatie-tensors.
• Nut: Het diagnosticeert waar een surrogaat afwijkt van de ware correlatiestructuur, wat FPD en KPD mogelijk missen.

2.2 Physics-Aware Auxiliary Losses

Twee zachte, per-sample physics losses worden gecodeerd om structuren te vangen die geen gesloten vorm van een constraint uitdrukken:

1. Variance-Stabilized Voxel Residual Loss:
   • Gebaseerd op telling-statistieken, waarbij fluctuaties schalen met de wortel van de energie.
   • Het past een inverse-variance weging toe op het residu tussen de schone schatting van het model ($\hat{x}_0$) en de grondwaarheid ($\tilde{x}_0$).
   • Gebruikt een Huber-penalty om te voorkomen dat uitschieters de update domineren.
   • Conflict: Deze loss conflicteert vaak met de denoising-doelstelling, vooral in latere stadia van de training.
2. Graph Laplacian Loss:
   • Codeert lokale gladheid-constraints gebaseerd op de detector-geometrie (face-sharing buren).
   • In plaats van het signaal te minimaliseren (wat de shower-structuur zou wissen), minimaliseert het het verschil tussen de Laplacian van het voorspelde signaal en de Laplacian van het referentie-signaal.
   • Conflict: Deze loss komt over het algemeen goed overeen met de denoising-doelstelling.

2.3 GradBlend: Conflict-Bewuste Gradiënt Blending

Om de denoising-gradiënt ($g_d$) en de hulp-gradiënt ($g_a$) te combineren zonder de generatieve doelstelling te degraderen, stellen de auteurs GradBlend voor. In tegen tegenstelling tot peer-gebaseerde MTL-methoden, verankert GradBlend de update-amplitude aan de denoising-gradiënt, terwijl de hulp-gradiënt alleen de richting mag bijsturen wanneer dat gunstig is.

• Mechanisme:
  1. Richting: Berekent eenheidsvectoren voor beide gradiënten. Een voorlopige blend-richting wordt gevormd. Als de conflict-hoek ($\theta_{conf}$) hoog is (gradiënten staan tegenover elkaar), wordt de bijdrage van de hulp-gradiënt aan de richting afgeschermd (lineair verval naar nul tussen $120^\circ$ en $150^\circ$).
  2. Amplitude: De stapgrootte wordt strikt verankerd aan de norm van de denoising-gradiënt ($\|g_d\|$), geschaald door een factor die afhankelijk is van de conflict-hoek ($\max(\cos(\theta_{conf}/2), 0.05)$).
  3. Resultaat: De hulp-gradiënt kan de update-richting sturen, maar kan de stapgrootte niet opblazen of de denoising-doelstelling overschrijven. Als gradiënten sterk conflicteren, krimpt de stap, wat de stabiliteit bewaart.

2.4 Trainingsschema

Omdat GradBlend gradiënten normaliseert, fungeert de hulp-gewicht als een eenvoudige on/off-gate. De auteurs hanteren een schema (S3) waarbij:

• De hulp-gradiënt actief is na een warmup.
• Cruciaal, de hulp-gradiënt wordt uitgeschakeld (uitgezet) in de laatste epochs van de training.
• Deze "terminal denoising-only fase" is essentieel voor de voxel loss (die conflicteert tijdens de late training) om volledige sample-dekking te garanderen en recall-collapse te voorkomen. De Laplacian loss is ongevoelig voor dit schema.

3. Belangrijkste Bijdragen

1. CFD Metriek: De eerste single-score metriek voor de getrouwheid van shower-correlaties op laag- en voxelschaal.
2. Physics-Aware Losses: Twee hulp-losses (variance-stabilized voxel residual en graph Laplacian) die zachte per-sample structuur coderen zonder dat er closed-form constraints nodig zijn.
3. GradBlend: Een gradiënt blending-regel die de denoising primair houdt door de stap-amplitude te verankeren aan de denoising-gradiënt en de invloed van de hulp-gradiënt op de richting af te schermen op basis van conflict.
4. Empirische Validatie: Demonstratie dat standaard MTL-regels (PCGrad, GradNorm, IMTL-G, ConFIG) de FPD met 2–100$\times$ degraderen vergeleken met de denoising-only baseline, terwijl GradBlend de physics-signalen toelaat zonder regressie.

4. Resultaten

Experimenten werden uitgevoerd op Dataset 2 van de Calochallenge (6.480 voxels, 45 lagen).

• Fidelity vs. Baselines:
  • Standaard MTL-methoden (Base+PCGrad, Base+GradNorm, etc.) degradeerden de Fréchet Physics Distance (FPD) aanzienlijk vergeleken met de denoising-only baseline (Base). Bijvoorbeeld, Base+IMTL-G met de Laplacian loss resulteerde in een FPD van 3454 (vs. 30.87 voor Base).
  • Lantern (Base+GradBlend) behield een FPD die vergelijkbaar is met de denoising-only baseline (25.97 met Laplacian, 32.84 met Voxel), terwijl het de CFD verbeterde of gelijk hield.
  • Lantern bereikte de beste CFD onder de getrainde modellen (0.120 met Laplacian), waarmee het de denoising-only baseline (0.122) versloeg.
• Stabiliteit: Trainingscurves lieten zien dat standaard MTL-methoden leden onder enorme fluctuaties in de hulp-loss (ordes van grootte), terwijl Lantern de hulp-loss stabiel en dicht bij de baseline-curve hield.
• Ablatie: Het verwijderen van de terminal denoising-only fase (S1/S2 schema's) veroorzaakte dat de voxel loss de FPD deed opblazen en de recall deed instorten (mode collapse). De Laplacian loss was robuust tegen het schema, maar de voxel loss vereiste de terminal fase om de sample-dekking te behouden.
• Classifier AUC: Lantern en de denoising baseline bereikten AUC's nabij 0.5 (wat duidt op ononderscheidbaarheid van Geant4), terwijl de falende MTL-baselines hoge AUC's vertoonden (bijv. 0.874 voor Base+IMTL-G Laplacian), wat wijst op een gemakkelijke scheiding van de ware distributie.

5. Betekenis en Claims

Het artikel beweert dat Lantern erin slaagt de kloof te overbruggen tussen statistische generatieve modellering en physics-gestuurde training voor stochastische cascades waar geen per-sample wetmatigheid bestaat.

• Primaire Claim: Physics-begeleiding is alleen veilig voor sterke generatieve surrogaten als de combinatie-regel de primaire generatieve doelstelling beschermt. Het behandelen van physics en generatie als gelijken leidt tot catastrofale degradatie van de sample-getrouwheid.
• Mechanisme: Door de richting te ontkoppelen van de amplitude en de stapgrootte te verankeren aan de denoising-gradiënt, staat GradBlend het model toe om zachte physics-constraints (correlatiestructuur) te incorporeren zonder de statistische validiteit van de gegenereerde showers op te offeren.
• Metrieke Bijdrage: De introductie van CFD biedt een noodzakelijk diagnostisch instrument voor het evalueren van correlatiestructuren die standaard distributie-metrieken missen.
• Beperkingen: De auteurs merken op dat de methode momenteel wordt gedemonstreerd op een enkele gecontroleerde setting (Dataset 2). De drempels voor GradBlend (hoekige gates, amplitude vloer) en de sluitings-epochs van het schema zijn empirisch ingesteld en vereisen verdere analyse. Het werk claimt niet de volledige simulatie te vervangen, maar biedt een hoogwaardige surrogaat voor specifieke hoog-energetische fysica toepassingen.