A general framework for modeling Gaussian process with qualitative and quantitative factors

1. Problemstellung

In vielen wissenschaftlichen und ingenieurtechnischen Anwendungen (z. B. computergestützte Experimente, Materialdesign, Strukturoptimierung) treten Eingangsvariablen auf, die sowohl quantitative (kontinuierliche) als auch qualitative (kategoriale) Faktoren umfassen. Diese werden im Paper als QQ-Faktoren bezeichnet.

Herausforderungen bei der Modellierung solcher Daten mit Gauß-Prozessen (GP) sind:

• Die Definition geeigneter Kovarianzfunktionen (Kernel), die sowohl den Abstand zwischen quantitativen Werten als auch die Ähnlichkeit zwischen qualitativen Kategorien korrekt abbilden.
• Die Behandlung von ordinalen Variablen (geordnete Kategorien), bei denen benachbarte Stufen eine stärkere Ähnlichkeit aufweisen sollten als weit entfernte.
• Die Existenz zahlreicher, oft isolierter Methoden in der Literatur, die keine einheitliche theoretische Grundlage teilen und deren Vergleichbarkeit erschwert.

2. Methodik: Das allgemeine latente Variablen-Framework

Die Autoren schlagen ein allgemeines Framework vor, das auf dem Ansatz von Zhang et al. (2020) aufbaut, qualitative Faktoren in einen kontinuierlichen latenten Raum abbildet.

Kernidee:
Jeder qualitative Faktor $v_j$ mit $a_j$ Stufen wird durch einen latenten Vektor $z^{(j)}_{v_j} \in \mathbb{R}^{l_j}$ repräsentiert. Der gesamte latente Vektor für die qualitativen Eingaben ist $Z_V$. Die Antwortvariable $Y(U, V)$ wird modelliert als:
$$Y(U, V) \stackrel{d}{=} Y(U, Z_V)$$
wobei $U$ die quantitativen Faktoren sind. Die Kovarianzfunktion wird faktorisiert in einen Anteil für quantitative und einen für qualitative Faktoren:
$$\text{Cov}\{Y(U, V), Y(U', V')\} = \sigma^2 K_U(U, U') K_Z(Z_V, Z'_V)$$

Schlüsselkomponenten des Frameworks:

• Kernel-Wahl für latente Variablen: Das Framework erlaubt die Anwendung beliebiger Standard-Kernel-Funktionen (Gauß, Exponential, Linear) auf die latenten Vektoren $Z_V$. Dies ermöglicht die systematische Entwicklung neuer Kovarianzstrukturen.
• Strukturen: Es werden sowohl multiplikative als auch additive Strukturen zwischen den qualitativen Faktoren betrachtet.
• Identifizierbarkeit: Die Autoren leiten Bedingungen her, unter denen die Parameterisierung der latenten Vektoren eindeutig ist (bis auf orthogonale Transformationen oder Translationen, je nach Kernel). Sie zeigen, dass lineare Kernel flexibler sind als Gauß-Kernel (da sie negative Korrelationen zulassen), aber spezifische Einschränkungen benötigen.
• Ordinale Variablen: Um die Ordnungsinformation zu nutzen, werden Constraints auf die latenten Vektoren imposed.
  • Für isotrope Kernel (z. B. Gauß): Die latenten Skalare werden so definiert, dass sie monoton wachsend sind ($0 = z_1 \le z_2 \le \dots$).
  • Für lineare Kernel: Die Winkel in hypersphärischen Koordinaten werden so eingeschränkt, dass die Ordnung erhalten bleibt.
  • Dies wird durch Reparameterisierung in nicht-negative Inkremente ($\Delta$) gelöst, was die Optimierung unter Box-Constraints ermöglicht.

3. Wichtige Beiträge

1. Einheitliches Framework: Das Paper verbindet zahlreiche bestehende Methoden (z. B. von Qian et al., Zhou et al., Deng et al., Zhang et al.) als Spezialfälle dieses allgemeinen Ansatzes. Es zeigt, wie diese durch die Wahl spezifischer Kernel und Latent-Dimensionen abgeleitet werden können.
2. Theoretische Fundierung: Es werden formale Bedingungen für die Identifizierbarkeit der latenten Parameter für lineare und isotrope Kernel hergeleitet, was in früheren Arbeiten oft unzureichend behandelt wurde.
3. Integration ordinaler Information: Ein nahtloser Mechanismus zur Einbeziehung ordinaler Strukturen wird vorgestellt, der die Schätzung regularisiert und Overfitting verhindert, ohne die Flexibilität des GP-Modells zu verlieren.
4. Modellauswahl und -aggregation: Da verschiedene Kernel und Dimensionen zu unterschiedlichen Ergebnissen führen können, werden Strategien zur Modellauswahl eingeführt:
   • LOOCV (Leave-One-Out Cross-Validation) mit verschiedenen Fehlermaßen.
   • BIC (Bayesian Information Criterion) zur Auswahl des besten Modells.
   • BIC-basiertes Modell-Averaging: Eine gewichtete Kombination der Vorhersagen mehrerer Modelle, um die Robustheit zu erhöhen.

4. Ergebnisse

Die Leistung des Frameworks wurde in umfangreichen numerischen Vergleichen evaluiert:

• Simulationsstudien (Balkenbiegen, Bohrloch, OTL-Schaltung, Kolben):

  • Die vorgeschlagenen Methoden übertrafen in den meisten Fällen konkurrierende Ansätze (EzGP, EEzGP, ctGP), die Interaktionen zwischen QQ-Faktoren modellieren.
  • Kernel-Effekte: Die Leistung variierte stark je nach Kernel. Lineare Kernel performten in einigen Fällen besser als Gauß-Kernel, während Exponential-Kernel oft schlechtere Ergebnisse lieferten.
  • Dimensionalität: Eine zu hohe Dimension der latenten Vektoren führte zu Overfitting, eine zu niedrige zu Underfitting. Die optimale Dimension ist datenabhängig.
  • Ordinale Information: Die explizite Berücksichtigung ordinaler Strukturen führte konsistent zu besseren Vorhersagegenauigkeiten (niedrigerer RRMSE) im Vergleich zur Behandlung als nominale Variablen.
  • Modellauswahl: Die BIC-basierte Modellaggregation (BICMAvr) zeigte sich als besonders robust und stabil über verschiedene Szenarien hinweg.

• Anwendungsbeispiele:

  • 3D-FEM-Modell für Dämme: Das Framework bewährte sich bei einem realen Ingenieurproblem mit gemischten Faktoren.
  • Materialdesign (M2AX-Familie): Bei der Vorhersage elastischer Eigenschaften von Materialien zeigte sich, dass additive Kernel-Strukturen vorteilhaft sein können, wenn bestimmte qualitative Faktoren (hier das X-Atom) kaum Einfluss auf die Antwortvariable haben (nahezu identische latente Vektoren).

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen theoretischen und praktischen Baustein für die Analyse von Computerexperimenten mit gemischten Eingangsdaten.

• Brückenschlag: Es verbindet die Modellierung rein quantitativer Eingaben mit der komplexeren Welt gemischter Eingaben, indem es etablierte Kernel-Techniken auf latente Räume überträgt.
• Flexibilität: Durch die Modularität des Frameworks können Forscher leicht neue Kernel-Kombinationen testen, ohne das gesamte Modell neu erfinden zu müssen.
• Praktischer Nutzen: Die vorgeschlagenen Strategien zur Modellauswahl und -aggregation helfen Praktikern, das für ihre spezifischen Daten am besten geeignete Modell zu finden und die Vorhersageunsicherheit zu quantifizieren.
• Zukunftsausblick: Das Framework legt den Grundstein für die Entwicklung noch komplexerer Kernel für QQ-Eingaben, wobei die Herausforderung in der Interpretierbarkeit der Parameter und der Skalierbarkeit bei sehr großen Datenmengen bleibt.

Zusammenfassend bietet das Paper eine robuste, generalisierbare Lösung für ein weit verbreitetes Problem in der computergestützten Statistik und erweitert den Werkzeugkasten für Gauß-Prozesse signifikant.