LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks
Het artikel introduceert LoRA-Ensemble, een parameter-efficiënte methode voor zelfattentie-netwerken die via Low-Rank Adaptatie een impliciete ensemble vormt die niet alleen de nauwkeurigheid van expliciete ensembles evenaart of overtreft, maar ook superieure kalibratie biedt.