Correction of Transformer-Based Models with Smoothing Pseudo-Projector
Dit paper introduceert de 'smoothing pseudo-projector', een lichtgewicht correctiemodule die is geïnspireerd op het multigrid-paradigma en de robuustheid en trainingsdynamiek van transformer-modellen verbetert door ruis te onderdrukken zonder de kernarchitectuur te wijzigen.