LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks
Die Arbeit stellt LoRA-Ensemble vor, eine parametereffiziente Methode zur Unsicherheitsmodellierung in Self-Attention-Netzwerken, die durch die Nutzung individueller Low-Rank-Matrizen innerhalb eines geteilten Moduls die Genauigkeit expliziter Ensembles erreicht und gleichzeitig eine überlegene Kalibrierung sowie geringere Rechenkosten bietet.