Functionality-Oriented LLM Merging on the Fisher--Rao Manifold
Questo lavoro propone un metodo di fusione di modelli linguistici basato sulla media di Karcher sulla varietà di Fisher-Rao, che supera i limiti delle approssimazioni euclidee preservando la funzionalità e la stabilità anche durante la combinazione di numerosi esperti eterogenei.