💻 computer science

Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

Diese Studie zeigt, dass die Anwendung von Methoden des parametereffizienten Fine-Tunings, spezifisch Adapter und Low-Rank Adaptation (LoRA), auf Deformable Attention es Transformer-basierten Modellen ermöglicht, durch das Fine-Tuning von lediglich 1–6 % der Parameter eine wettbewerbsfähige Leistung bei der Instanzsegmentierung zu erzielen, wodurch die Rechenkosten im Vergleich zum herkömmlichen Fine-Tuning signifikant reduziert werden.

Ursprüngliche Autoren: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „überdimensionierte“ Koch

Stellen Sie sich vor, Sie haben einen weltberühmten Koch (ein großes vortrainiertes Modell), der jahrelang gelernt hat, jedes erdenkliche Gericht zu kochen. Dieser Koch weiß alles über Essen, von französischen Backwaren bis hin zu japanischem Sushi.

Nun möchten Sie, dass dieser Koch ein ganz bestimmtes, lokales Gericht zubereitet: Instanzsegmentierung. In der Computer Vision bedeutet das, nicht nur zu sagen „das ist ein Hund“, sondern eine perfekte Umrandung um jeden einzelnen Hund in einem Foto zu ziehen und dabei jeden vom anderen zu unterscheiden.

Das Problem:
Um diesen Koch Ihr spezifisches lokales Gericht lehren zu können, ist der traditionelle Weg, ihn alles wieder von Grund auf neu lernen zu lassen oder zumindest 40–55 % seines gesamten Wissensschatzes neu zu trainieren. Das ist so, als würde man den Koch zwingen, seine letzten 10 Jahre Ausbildung zu vergessen und wieder bei Null anzufangen. Das kostet eine enorme Menge an Zeit, Energie und Geld (Rechenleistung). Zudem besteht die Gefahr, dass er im Prozess verlernt, die anderen Gerichte zu kochen, für die er berühmt war.

Die Lösung (PEFT):
Diese Arbeit untersucht einen klügeren Weg namens Parameter-Efficient Fine-Tuning (PEFT). Anstatt den ganzen Koch neu zu trainieren, geben wir ihm eine kleine, spezialisierte „Rezeptkarte“ oder eine „spezialisierte Schürze“, die ihm hilft, sich an Ihr spezifisches Gericht anzupassen, ohne sein Kernwissen zu verändern.

Die Forscher testeten zwei Arten dieser „Rezeptkarten“:

Adapter: Kleine, zusätzliche Module, die in den Arbeitsablauf des Kochs eingefügt werden.
LoRA (Low-Rank Adaptation): Eine Methode, um die bestehenden Notizen des Kochs mit sehr kleinen, effizienten Aktualisierungen anzupassen.

Die zwei „Rezeptkarten“ erklärt

1. Adapter: Die „Nebenaufgaben“-Module

Stellen Sie sich Adapter wie das Hinzufügen einer kleinen, spezialisierten Nebenküche zum Hauptarbeitsbereich des Kochs vor.

Wie es funktioniert: Jedes Mal, wenn der Koch einen wichtigen Schritt macht (wie Schneiden oder Anbraten), hält er kurz inne und lässt die Zutaten durch diese winzige Nebenküche laufen. Die Nebenküche fügt dem Gericht ein wenig „lokale Würze“ hinzu, bevor es zurück in den Hauptprozess fließt.
Das Experiment: Die Forscher probierten aus, 1, 2, 3 oder 4 dieser Nebenküchen hintereinander einzusetzen.
Das Ergebnis: Sie fanden heraus, dass 2 oder 3 Nebenküchen der „Sweet Spot“ waren. Dies lieferte die besten Ergebnisse, ohne die Küche zu überfüllen. Das Hinzufügen einer vierten Nebenküche brachte keinen nennenswerten Vorteil mehr, machte den Prozess aber langsamer.
Die Kosten: Diese Methode erforderte nur das Training von etwa 1 % bis 6 % der gesamten Parameter (der „Zutaten“, die der Koch lernen muss), im Vergleich zu den 40–55 %, die der alten Methode nötig gewesen wären.

2. LoRA: Der „Textmarker“

Stellen Sie sich LoRA wie einen speziellen Textmarker vor. Anstatt das gesamte Kochbuch des Kochs neu zu schreiben, markieren Sie einfach bestimmte Sätze im vorhandenen Text, um deren Bedeutung leicht zu verändern.

Wie es funktioniert: Die Forscher wandten diesen Textmarker speziell auf die „Attention“-Teile des Modells an (dort, wo der Koch entscheidet, worauf er im Bild achten soll). Sie testeten dies sogar zum ersten Mal in diesem Kontext auf eine komplexe Art der Aufmerksamkeit, die sogenannte „Deformable Attention“.
Das Ergebnis: LoRA ist unglaublich effizient. Es musste nur etwa 0,3 % bis 1 % der Parameter lernen.
Der Haken: Obwohl LoRA super schnell und leichtgewichtig war, gewann es nicht immer. Bei sehr unordentlichen oder schwierigen Aufgaben (wie Röntgenbildern von Müll) war die „Nebenküche“ (Adapter) besser geeignet, da sie über etwas mehr Kapazität verfügte, um die Komplexität zu bewältigen. Bei einfacheren, alltäglichen Aufgaben (wie Straßenszenen in der Stadt) glänzte LoRA.

Der Testlauf: Vier verschiedene „Küchen“

Die Forscher testeten diese Methoden auf vier sehr unterschiedlichen Datensätzen (Bildtypen), um zu sehen, wie gut sie funktionieren:

Delfine (NDD20): Klare Bilder von Delfinen oberhalb und unterhalb des Wassers.
- Ergebnis: Beide Methoden funktionierten gut, aber die Adapter (mit mehr „Nebenküchen“) waren etwas besser darin, die spezifischen Details der Delfine zu erfassen.
Müll auf einem Förderband (ZeroWaste): Ein unordentlicher Haufen aus Plastik, Metall und Pappe.
- Ergebnis: Dies war eine schwierige, unübersichtliche Aufgabe. Hier gewannen die Adapter. Sie waren besser darin, den Unterschied zwischen einer zerknitterten Plastiktüte und einem Stück Metall zu erkennen.
Röntgenmüll (WIXray): Durch Müll hindurchsehen, um Batterien oder Glas in einer Röntgenaufnahme zu finden.
- Ergebnis: Dies war die schwierigste Aufgabe. Auch hier übertrafen die Adapter LoRA. Die „Nebenküchen“ waren besser darin, die seltsamen, neuen Muster der Röntgenbilder zu lernen, die der Koch zuvor noch nie gesehen hatte.
Stadtstraßen (Cityscapes): Autos, Menschen und Gebäude in einer Stadt.
- Ergebnis: Dies ist ein sehr verbrehrter Typ von Bildern, ähnlich dem, was der Koch ursprünglich gelernt hat. Hier war LoRA der Star. Es war so effizient, dass es tatsächlich die traditionelle Methode und die Adapter schlug, während es fast keinen zusätzlichen Speicher benötigte.

Das Urteil: Was haben sie gelernt?

Effizienz ist entscheidend: Man muss nicht das ganze Modell neu trainieren. Man kann 90–95 % der Leistung erzielen, indem man nur 1–6 % des Modells trainiert.
Einheitslösungen passen nicht immer:
- Wenn die Aufgabe komplex, unordentlich oder sehr anders ist als das, was das Modell ursprünglich gelernt hat (wie bei Röntgenbildern), verwenden Sie Adapter (speziell 2 oder 3 davon). Sie sind flexibler.
- Wenn die Aufgabe ähnlich wie das Alltagsleben ist (wie Straßenszenen), verwenden Sie LoRA. Es ist am effizientesten und schnellsten.
Geschwindigkeit vs. Leistungsfähigkeit: Adapter fügen dem Prozess eine winzige Zeitverzögerung hinzu (wie das Hinzufügen einer Nebenküche, das ein paar Sekunden länger dauert), aber LoRA ist sofort einsatzbereit, da es lediglich die vorhandenen Notizen anpasst.

Zusammenfassung

Diese Arbeit beweist, dass man keinen riesigen, teuren Computer braucht, um einem massiven KI-Modell einen neuen, spezifischen Job beizubringen. Durch den Einsatz kleiner, intelligenter Erweiterungen (Adapter) oder effizienter Anpassungen (LoRA) können wir diese riesigen Modelle für spezifische Aufgaben wie das Finden von Objekten in Fotos anpassen und dabei enorme Mengen an Zeit und Geld sparen, während wir dennoch großartige Ergebnisse erzielen. Der Schlüssel liegt darin, das richtige Werkzeug für die jeweilige Aufgabe zu wählen.

Technische Zusammenfassung: Parameter-effiziente Feinabstimmung großer vortrainierter Modelle für Instanzsegmentierungsaufgaben

Problemstellung
Der rasante Fortschritt bei großen vortrainierten Modellen (Large Pretrained Models, LPMs) in der Computer Vision hat zu Spitzenleistungen in verschiedenen Aufgabenbereichen geführt. Die enorme Zunahme der Modellparameter schafft jedoch erhebliche Barrieren für die Anpassung an nachgelagerte Aufgaben (Downstream-Adaption). Die traditionelle vollständige Feinabstimmung (Full Fine-Tuning) erfordert die Aktualisierung aller oder großer Teilmengen der Gewichte für jede neue Aufgabe, was zu hohen Rechen- und Speicherkosten, dem Risiko des katastrophalen Vergessens (Catastrophic Forgetting) und Overfitting auf kleineren Zieldatensätzen führt. Methoden der parameter-effizienten Feinabstimmung (Parameter-Efficient Fine-Tuning, PEFT) wie Adapter und Low-Rank Adaptation (LoRA) haben in der natürlichen Sprachverarbeitung (NLP) an Bedeutung gewonnen, ihre Anwendung auf komplexe Computer-Vision-Aufgaben – insbesondere die Instanzsegmentierung unter Verwendung von Transformer-basierten Architekturen – ist jedoch noch unzureichend erforscht. Zudem stehen bestehende PEFT-Methoden oft vor Einschränkungen hinsichtlich der Skalierbarkeit und sind nicht für die spezifischen Anforderungen der Instanzsegmentierung optimiert, wie etwa präzise Pixel-Vorhersagen und die Differenzierung von Objektinstanzen. Eine deutliche Lücke in der Literatur besteht hinsichtlich der Integration dieser Techniken innerhalb von Deformable-Attention-Modulen, die zentral für moderne Detection-Transformer (DETR) sind.

Methodik
Diese Studie untersucht die Wirksamkeit zweier PEFT-Strategien – sequenziell angeordnete Adapter und LoRA – angewandt auf zwei große vortrainierte Instanzsegmentierungsmodelle: das Segment Everything Everywhere Model (SEEM) und Mask DINO. Die Forschung konzentriert sich auf die Anpassung dieser Modelle über vier Benchmark-Datensätze unterschiedlicher Komplexität: NDD20 (Delfin-Segmentierung), ZeroWaste (Förderband-Abfall), WIXray (Röntgen-Abfallinspektion) und Cityscapes (urbane Straßenszenen).

Adapter: Die Autoren schlagen eine neuartige sequenzielle Integration von Adapter-Modulen vor. Im Gegensatz zu Standardimplementierungen, die einen einzelnen Adapter pro Schicht vorsehen, führt diese Studie mehrere Adapter-Blöcke ( $I$ ) sequenziell innerhalb jedes Transformer-Blocks ein. Diese Adapter werden sowohl nach den Cross-Attention- als auch nach den Self-Attention-Schichten eingefügt. Die Architektur umfasst eine lineare Down-Projektion, eine ReLU-Aktivierung, eine lineare Up-Projektion und eine Residualverbindung. Die Studie untersucht verschiedene Konfigurationen der Residualverbindungen ( $\kappa$ , $\lambda$ und $\kappa + \lambda$ ), um den optimalen Signalfluss zu bestimmen.
LoRA in Deformable Attention: Ein wesentlicher methodischer Beitrag ist die Anwendung von LoRA auf Multi-Scale-Deformable-Attention-Mechanismen. Während LoRA typischerweise auf Standard-Attention-Schichten angewendet wird (indem Query- und Value-Projektionen modifiziert werden), erweitert dieses Werk die Technik auf Deformable Attention. Hierbei werden LoRA-Matrizen auf die Gewichtsmatrien angewendet, die für die Vorhersage von Offsets ( $W_{offset}$ ) und Value-Projektionen ( $W_V$ ) verantwortlich sind, wodurch das Modell in der Lage ist, aufgabenspezifische Sampling-Positionen und Value-Interpretationen zu erlernen, ohne die zugrunde liegenden vortrainierten Gewichte zu verändern.
Experimentelles Setup: Die Experimente wurden unter Verwendung von NVIDIA Quadro RTX 8000 GPUs durchgeführt. Die Studie vergleicht PEFT-Konfigurationen mit traditionellen Full-Tuning-Einstellungen (vollständiger Segmentierungskopf, Decoder allein und Embeddings allein). Es wurde eine Parameter-Sweep für LoRA-Ränge ( $r = \{2, 4, 8, 16\}$ ) und die Anzahl der Adapter ( $I = \{1, 2, 3, 4\}$ ) durchgeführt.

Wesentliche Beiträge

Erste Anwendung von LoRA auf Deformable Attention: Die Arbeit führt einen LoRA-Ansatz speziell für Multi-Scale-Deformable-Attention-Schichten ein und erreicht Parameter-Effizienz durch die Aktualisierung lediglich von Low-Rank-Matrizen innerhalb dieser spezialisierten Attention-Mechanismen.
Sequenzielle Adapter-Integration: Die Studie präsentiert die erste Implementierung sequenziell angeordneter Adapter-Module für große vortrainierte Instanzsegmentierungsmodelle und untersucht die Skalierbarkeit durch das Hinzufügen mehrerer Adapter-Blöcke pro Transformer-Schicht.
Umfassendes Benchmarking: Die Forschung bietet eine vergleichende Analyse von PEFT-Methoden über vier diverse Datensätze hinweg und evaluiert Leistung, Parameter-Effizienz und Inferenzgeschwindigkeit auf SEEM- und Mask-DINO-Architekturen.

Ergebnisse
Die Studie zeigt, dass PEFT-Methoden eine wettbewerbsfähige Leistung erzielen können, während sie nur einen Bruchteil der Modellparameter feinabstimmen:

Parameter-Effizienz: Adapter-Konfigurationen benötigten zwischen 1,23 % und 3,88 % der Parameter für SEEM und 0,5 % bis 6,35 % für Mask DINO. LoRA war noch effizienter und nutzte etwa 0,34 % bis 0,54 % für SEEM und 0,73 % bis 1,39 % für Mask DINO (ResNet-50 Backbone). Im Gegensatz dazu erforderte das vollständige Full-Head-Fine-Tuning 39,55 % (SEEM) und 54,91 % (Mask DINO) der Parameter.
Leistungs-Trade-offs:
- Adapter: Eine Erhöhung der Anzahl der Adapter verbesserte im Allgemeinen die Leistung, wobei 2 bis 3 Adapter pro Block das optimale Gleichgewicht zwischen Genauigkeit und Parameteranzahl boten. Im ZeroWaste-Datensatz übertraf eine 4-Adapter-Konfiguration für Mask DINO sogar das State-of-the-Art (SOTA) Full-Head-Tuning.
- LoRA: LoRA zeigte eine starke Effizienz, wies jedoch je nach Datensatz und Architektur eine variable Leistung auf. Es zeichnete sich im Cityscapes-Datensatz aus (übertraf das Full-Head-Tuning für Mask DINO mit nur 0,24 % Parametern), schnitt jedoch bei komplexen, domänenspezifischen Aufgaben wie WIXray (Röntgenbilder) und ZeroWaste schlechter ab als Adapter.
- Architekturabhängigkeit: Mask DINO (basierend auf Deformable Attention) erreichte oft vergleichbare oder überlegene Ergebnisse gegenüber dem größeren SEEM-Modell, was darauf hindeutet, dass der Deformable-Attention-Mechanismus in Kombination mit kontrastiver Denoising-Technik sehr effektiv für die Instanzlokalisierung ist.
Inferenzgeschwindigkeit: Adapter führten einen leichten Rechenaufwand ein (1–2 ms pro Iteration pro hinzugefügtem Adapter-Block) aufgrund der zusätzlichen Schichten. LoRA hingegen verursachte einen vernachlässigbaren Inferenz-Overhead, da die Gewichte vor der Inferenz mit dem Basismodell rekombiniert und verschmolzen werden.

Bedeutung und Behauptungen
Das Paper behauptet, das Potenzial von PEFT aufzuzeigen, um skalierbares, anpassbares und recheneffizientes Transfer Learning für die Instanzsegmentierung zu ermöglichen. Die Autoren betonen, dass PEft-Methoden zwar nicht immer die absolute Spitzenleistung des Full Fine-Tunings erreichen, aber eine lebensfähige Alternative für ressourcenbeschränkte Umgebungen darstellen. Die Studie hebt hervor, dass die Wahl zwischen Adaptern und LoRA kontextabhängig ist: Adapter können bevorzugt werden, wenn Aufgaben eine signifikante Domänenanpassung oder den Umgang mit komplexen, deformierbaren Objekten erfordern, während LoRA besonders effektiv für Aufgaben ist, die der ursprünglichen Verteilung des Vortrainings nahestehen.

Die Autoren merken bescheiden an, dass ihre Ergebnisse zwar vielversprechend sind, es jedoch Raum für weitere Optimierungen gibt. Sie räumen ein, dass in bestimmten komplexen Szenarien (z. B. WIXray) Leistungsunterschiede bestehen bleiben und dass die erhöhte Inferenzzeit von Adaptern deren Einsatz in Echtzeitanwendungen einschränken könnte. Die Arbeit schließt mit dem Aufruf zu weiterer Forschung hinsichtlich hybrider Strategien, breiterer Benchmarks über diverse Computer-Vision-Aufgaben hinweg und der Entwicklung neuer Adapter-Varianten, um das volle Potenzial der Anpassung großer vortrainierter Modelle für spezialisierte Computer-Vision-Anwendungen auszuschöpfen.