Flow Gym: A framework for the development, benchmarking, training, and deployment of flow-field quantification methods

Das Paper stellt Flow Gym vor, ein auf JAX basiertes Framework, das durch eine standardisierte Schnittstelle die Entwicklung, den Benchmarking, das Training und den Einsatz von PIV- und optischen Fluss-Methoden vereinheitlicht, um Reproduzierbarkeit zu verbessern und den Übergang von der Forschung zur experimentellen Anwendung zu erleichtern.

Das Wesentliche

Stellen Sie sich vor, Sie möchten den Wind oder das Wasser in einem Fluss genau verstehen. Dazu nehmen Sie ein Foto von kleinen Partikeln, die im Wasser oder in der Luft schweben, und versuchen, aus zwei aufeinanderfolgenden Fotos zu berechnen, wohin sich diese Partikel bewegt haben. Das nennt man PIV (Particle Image Velocimetry).

Das Problem bisher war: Jeder Forscher hat sein eigenes Werkzeug gebaut. Manche benutzten eine alte Schere, andere einen neuen Laser, und alle hatten unterschiedliche Anleitungen. Wenn man zwei Methoden vergleichen wollte, war es wie der Versuch, einen Ferrari mit einem Fahrrad zu vergleichen, wobei beide auf völlig verschiedenen Straßen fuhren. Es war chaotisch, schwer zu wiederholen und oft unmöglich, die besten Ergebnisse zu finden.

Flow Gym ist die Lösung für dieses Chaos. Hier ist eine einfache Erklärung, wie es funktioniert:

1. Der "Universal-Adapter" (Die Norm)

Stellen Sie sich Flow Gym wie einen riesigen, modernen Flughafen vor.

• Früher: Jeder Flugzeugbauer (Forscher) baute sein eigenes Terminal. Ein Flugzeug (Algorithmus) konnte nur starten, wenn es genau zu diesem einen Terminal passte.
• Mit Flow Gym: Wir haben eine einheitliche Landebahn und einen standardisierten Check-in gebaut. Egal, ob Sie ein klassisches Flugzeug (alte mathematische Methoden) oder ein futuristisches Raumschiff (moderne KI-Methoden) haben – alle müssen sich nur an die gleichen Regeln halten, um abzuheben.
• Das Ergebnis: Man kann jetzt fair vergleichen, welches Flugzeug am schnellsten oder sichersten ist, weil sie alle auf derselben Landebahn starten.

2. Der "Super-Computer" (JAX)

Flow Gym nutzt eine spezielle Technologie namens JAX.

• Analogie: Stellen Sie sich vor, Sie müssen einen riesigen Berg von Fotos bearbeiten.
  • Ohne Flow Gym: Sie nehmen einen einzelnen Bleistift und arbeiten langsam von Hand.
  • Mit Flow Gym: Sie haben einen Roboterarm, der Tausende von Fotos gleichzeitig bearbeitet. Dieser Roboterarm ist extrem schnell und nutzt die Grafikkarte Ihres Computers (GPU) wie einen Turbo-Booster.
• Das Tolle ist: Flow Gym ist so flexibel, dass es auch mit den alten Werkzeugen (wie OpenCV oder PyTorch) zusammenarbeiten kann, wenn jemand noch keine neue Maschine gebaut hat.

3. Der "Schulbus" für Daten (SynthPix)

Um neue Methoden zu testen, braucht man viele Trainingsdaten.

• Flow Gym hat einen Schulbus namens SynthPix.
• Dieser Bus holt die Schüler (die Algorithmen) ab und bringt sie zu verschiedenen Orten:
  1. In eine Simulation (ein virtuelles Labor, wo man den Wind künstlich erzeugt).
  2. Zu echten Forschungsdaten (echte Fotos aus dem Wasser).
  3. Direkt in die Realität (live in einen echten Wasserkanal, um den Fluss in Echtzeit zu steuern).
• Der Bus fährt immer die gleiche Route. Das bedeutet: Ein Algorithmus, der im virtuellen Labor gelernt hat, kann sofort in der echten Welt eingesetzt werden, ohne dass man ihn umbauen muss.

4. Warum ist das wichtig?

Bisher war es wie ein Puzzle, bei dem jeder sein eigenes Teil hatte und niemand wusste, wie es zusammenpasst. Flow Gym legt alle Teile auf einen Tisch, gibt jedem die gleiche Schablone und sagt: "Jetzt bauen wir gemeinsam."

• Für Forscher: Sie müssen nicht mehr stundenlang Software installieren und anpassen. Sie können sich auf die eigentliche Idee konzentrieren.
• Für die Praxis: Methoden, die früher nur auf dem Papier existierten, können jetzt viel schneller in echte Anwendungen (wie die Steuerung von Drohnen oder die Analyse von Wetterphänomenen) überführt werden.

Zusammenfassend: Flow Gym ist das Betriebssystem für die Strömungsanalyse. Es macht das Chaos der verschiedenen Methoden zu einem geordneten, schnellen und fairen System, das von der Theorie bis zur echten Anwendung funktioniert.

Technische Zusammenfassung

Titel: Flow Gym: Ein Framework für die Entwicklung, Benchmarking, Schulung und Bereitstellung von Strömungsfeld-Quantifizierungsmethoden

Autoren: Francesco Banelli, Antonio Terpin, Alan Bonomi, Raffaello D'Andrea (ETH Zürich)

---

1. Problemstellung

Die Quantifizierung von Strömungsfeldern aus Bildern von Tracer-Partikeln ist eine Kernaufgabe in der experimentellen Strömungsmechanik, wobei die Partikelbildvelocimetrie (PIV) und optische Flussmethoden (Optical Flow) die am weitesten verbreiteten Techniken sind. Trotz der methodischen Vielfalt und des Fortschritts durch Deep Learning bestehen erhebliche Hindernisse bei der Entwicklung und Evaluierung neuer Methoden:

• Fragmentierte Software: Implementierungen sind über verschiedene Bibliotheken und Programmierframeworks verteilt.
• Inkonsistente Schnittstellen: Fehlende Standardisierung erschwert den fairen Vergleich zwischen klassischen und lernbasierten Ansätzen.
• Eingeschränkte Reproduzierbarkeit: Unterschiedliche Vorverarbeitungs-, Nachverarbeitungs- und Evaluierungsprotokolle machen Benchmarking schwierig.
• Implementierungsdetails: Die Leistung ist oft stark von spezifischen Implementierungsdetails abhängig, was die Übertragung von Forschungsergebnissen in experimentelle Umgebungen behindert.

Das Ziel von Flow Gym ist es, diese Lücken zu schließen und eine Infrastruktur zu schaffen, die die Reproduzierbarkeit, Vergleichbarkeit und praktische Nutzbarkeit in der Strömungsmechanik auf das Niveau benachbarter computergestützter Felder (wie Computer Vision) hebt.

---

2. Methodik und Architektur

Flow Gym ist ein einheitliches Framework, das auf der Programmiersprache Python und dem hochperformanten Machine-Learning-Framework JAX basiert. Der Kern des Systems ist eine abstrahierte Schnittstelle namens Estimator.

Das Estimator-Interface

Das Framework definiert eine zustandsbehaftete, funktionale Schnittstelle, die Algorithmen abbildet, die Beobachtungen (z. B. PIV-Bildpaare) auf Größen von Interesse (Strömungsfelder) abbilden.

• Funktionsweise: Der Aufruf new_state, metrics = estimator(image, state, trainable_state) ist zustandslos in Bezug auf die Eingabedaten (keine In-Place-Modifikation), führt aber Zustandsupdates durch.
• Zustände:
  • Estimator State: Speichert kurzfristige Informationen (z. B. vorherige Schätzungen, Hilfsvariablen) für rekursive/sequenzielle Verarbeitung.
  • Trainable State: Enthält langfristige Parameter wie Modellgewichte und Optimierer-Zustände (bei lernbasierten Methoden). Bei klassischen Methoden (z. B. Kreuzkorrelation) ist dieser Container leer, ermöglicht aber dennoch einen einheitlichen Pipeline-Ablauf.
• Flexibilität: Das Interface unterstützt sowohl „One-Shot"-Schätzer (unabhängige Bildpaare) als auch „Recurrent"-Schätzer (zeitliche Korrelation in Strömungsströmen).

Modulare Pipeline

Die Verarbeitungskette ist in drei Hauptphasen unterteilt, die unabhängig voneinander konfigurierbar sind:

1. Vorverarbeitung (Pre-processing): Implementiert in JAX, umfasst Histogramm-Equalization, Hochpassfilterung (zur Entfernung von Beleuchtungsungleichmäßigkeiten), Intensitätsbegrenzung (Clipping), Otsu-Schwellwertbildung und Normalisierung.
2. Verarbeitung (Processing): Hier werden die eigentlichen Schätzalgorithmen ausgeführt.
3. Nachverarbeitung (Post-processing): Umfasst Datenvalidierung (Outlier-Erkennung durch konstante/adaptive Schwellenwerte oder Median-Tests), Interpolation (z. B. Tile-basiert oder Laplace-Lösung für fehlende Daten) und Glättung.

Implementierungsstrategien

Flow Gym bietet zwei Wege zur Integration von Algorithmen:

• Native JAX-Implementierung: Für maximale Performance und Hardware-Beschleunigung (z. B. via jit und vmap). Beispiele: DIS, RAFT32-PIV.
• Wrapper für externe Bibliotheken: Einbindung bestehender Implementierungen aus OpenCV, OpenPIV oder PyTorch. Dies ermöglicht den direkten Vergleich von JAX-native Methoden mit etablierten externen Tools unter identischen Bedingungen.

Datenquellen und Training

• Datenunabhängigkeit: Das Interface ist agnostisch gegenüber der Datenherkunft. Es funktioniert mit synthetischen Daten (via SynthPix), experimentellen Datensätzen oder Live-Streams aus physikalischen Experimenten.
• Training: Bietet eine gemeinsame Schnittstelle für überwachtes Training (mit Ground Truth) und unüberwachtes Training (z. B. durch Warping-Konsistenz). Es unterstützt sowohl Batch-Training als auch sequenzielles Training über Zeitreihen (Reinforcement Learning / Sequential Training).

---

3. Schlüsselbeiträge

1. Standardisierte Schnittstelle: Eine einheitliche Estimator-Abstraktion, die klassische und lernbasierte Methoden in einer gemeinsamen Pipeline integriert.
2. Wiederverwendbare Workflows: Gemeinsame Trainings- und Evaluierungs-Workflows, die Benchmarking reproduzierbar machen und die Bereitstellung (Deployment) auf realen Experimenten erleichtern.
3. JAX-Native und interoperable Implementierungen:
   • Native Implementierungen von Algorithmen wie DIS, OpenPIV und RAFT32-PIV in JAX für GPU-Beschleunigung.
   • Wrapper für externe Bibliotheken (OpenCV, PyTorch), um Kompatibilität und Vergleichbarkeit zu gewährleisten.
4. Modulare Vor- und Nachverarbeitung: Ein konfigurierbares System für Filterung, Validierung und Interpolation, das auch lernbasierte Anpassungen erlaubt.
5. Bereitstellungsfähigkeit: Das Framework unterstützt sowohl Offline-Benchmarking als auch Echtzeit-Anwendungen (z. B. in geschlossenen Regelkreisen für aktive Fluidkontrolle).

---

4. Ergebnisse und Validierung

• Algorithmen-Vielfalt: Das Framework integriert derzeit eine breite Palette von Methoden, darunter klassische Ansätze (Farneback, Horn-Schunck, OpenPIV) und Deep-Learning-Modelle (DeepFlow, RAFT32-PIV, PIV-ADMM).
• Performance: Durch die Nutzung von JAX werden Beschleunigungen auf GPUs erreicht, während die Interoperabilität mit bestehenden Bibliotheken erhalten bleibt.
• Validierung: Die Wirksamkeit der Datenvalidierungstechniken (z. B. Median-Test, adaptive Schwellenwerte) wurde an synthetischen Daten demonstriert, wobei die Fähigkeit gezeigt wurde, Ausreißer effektiv zu entfernen und das Strömungsfeld zu rekonstruieren.
• Erfolgreiche Anwendung: Flow Gym wurde bereits in mehreren Forschungsprojekten der ETH Zürich eingesetzt, darunter:
  • Echtzeit-Strömungsregelung mit Hardware im Loop.
  • Implementierung und Benchmarking eines konsensbasierten ADMM-Ansatzes zur Strömungsverfeinerung.
  • Untersuchung lernbasierter Schätzer unter harten physikalischen Constraints.

---

5. Bedeutung und Ausblick

Flow Gym adressiert ein kritisches Defizit in der Strömungsmechanik: den Mangel an standardisierter, reproduzierbarer Softwareinfrastruktur.

• Reproduzierbarkeit: Durch die Standardisierung von Schnittstellen und Workflows wird der Vergleich verschiedener Methoden fairer und nachvollziehbarer.
• Brücke zur Praxis: Das Framework erleichtert den Übergang von theoretischen Algorithmen zu experimentellen Anwendungen, insbesondere in Echtzeit-Regelungssystemen.
• Zukunftsperspektiven:
  • Erweiterung auf volumetrische Strömungsquantifizierung (3D) durch Anpassung der Datencontainer und Integration von Mehrkamerasystemen.
  • Direkte Integration in physikalische Wasserkanäle über internetzugängliche Schnittstellen für Tests unter realen Betriebsbedingungen.
  • Erweiterung des Algorithmus-Spektrums und weitere JAX-Nativ-Implementierungen.

Zusammenfassend stellt Flow Gym einen wichtigen Schritt hin zu einer modernen, modularen und hochperformanten Software-Ökosystem für die Strömungsmechanik dar, das die Entwicklung neuer Methoden beschleunigt und deren praktische Anwendung fördert.