Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs
Diese Studie zeigt, dass die gezielte Auswahl von Kontextstrategien für Large Language Models entscheidend für die Qualität automatisierter Architektur-Entscheidungsprotokolle ist, wobei ein kleiner Zeitfenster der letzten 3 bis 5 Einträge die beste Balance zwischen Genauigkeit und Effizienz bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
🏗️ Der große Plan: Wie KI Architekten hilft, ohne zu überarbeiten
Stell dir vor, du baust ein riesiges Haus (oder eine ganze Stadt). Jeder wichtige Beschluss – „Wir bauen hier eine Brücke", „Wir nutzen Ziegel statt Holz" – muss festgehalten werden. In der Software-Welt nennt man diese Aufzeichnungen ADR (Architecture Decision Records). Sie sind wie das Tagebuch des Architekten.
Das Problem? Niemand mag es, diese Tagebücher zu schreiben. Es ist langweilig, zeitaufwendig und oft wird es vergessen. Die Folge: Jahre später weiß niemand mehr, warum die Brücke genau so gebaut wurde. Das nennt man „Architektur-Schulden".
Jetzt kommt die KI (Large Language Models oder LLMs) ins Spiel. Die Idee war: „Lass die KI das Tagebuch schreiben!" Aber die Forscher aus dieser Studie haben etwas Wichtiges herausgefunden: Die KI ist nicht der Held. Der Held ist der Kontext.
Stell dir die KI wie einen sehr klugen, aber vergesslichen Assistenten vor. Wenn du ihm sagst: „Schreib einen Plan für eine neue Brücke", aber ihm keine Informationen gibst, was vorher passiert ist, wird er etwas völlig Dummes oder zu Allgemeines erfinden. Er braucht die Geschichte des Hauses, um einen guten Plan zu machen.
🔍 Was haben die Forscher untersucht?
Sie wollten herausfinden: Wie viel Geschichte muss man dem Assistenten geben, damit er einen guten Plan schreibt?
Sie haben fünf verschiedene Methoden getestet, wie man dem Assistenten die alten Tagebücher (die ADRs) vorlegt:
- Nichts geben (Die Basis): Der Assistent weiß nur den Titel des neuen Plans. (Er ratet im Dunkeln).
- Alles geben (All-History): Du legst ihm jedes einzelne Tagebuch des Hauses seit der Gründung vor. (Das ist wie ein 1000-seitiges Buch, das er in 5 Minuten lesen muss – viel zu viel!).
- Nur die ersten Seiten (First-K): Du gibst ihm nur die ersten paar Tagebücher, als da das Fundament gelegt wurde. (Gut für die Grundlagen, aber ignoriert, was gestern passiert ist).
- Nur die letzten Seiten (Last-K): Du gibst ihm nur die letzten 3 bis 5 Tagebücher. (Das ist wie ein kurzes Briefing: „Was haben wir gestern gemacht?").
- Die intelligente Suche (RAFG): Der Assistent sucht sich selbst die relevantesten alten Tagebücher aus, egal wie alt sie sind. (Wie ein Detektiv, der nach Hinweisen sucht).
🏆 Die überraschenden Ergebnisse
Hier kommen die coolen Erkenntnisse, die wie eine Entdeckungsreise klingen:
1. Der Assistent braucht irgendeine Geschichte
Wenn man der KI gar nichts gibt, schreibt sie Unsinn. Sobald man ihr aber auch nur ein bisschen Geschichte gibt, wird sie plötzlich sehr gut. Das ist wie beim Kochen: Wenn du einem Koch sagst „Mach Suppe", ohne Zutaten zu nennen, wird er etwas Seltsames kochen. Gib ihm aber die Zutatenliste der letzten Woche, und er macht eine perfekte Suppe.
2. Weniger ist oft mehr (Das „3-bis-5"-Geheimnis)
Das war die größte Überraschung! Viele dachten: „Je mehr Geschichte, desto besser!"
Falsch.
Die Studie zeigt: Es reicht völlig aus, dem Assistenten die letzten 3 bis 5 Einträge zu geben.
- Warum? Weil die meisten Entscheidungen heute nur von den Entscheidungen der letzten Tage oder Wochen abhängen. Die Entscheidung von vor 5 Jahren ist oft schon irrelevant.
- Der Vergleich: Es ist wie beim Autofahren. Um zu wissen, wohin du jetzt lenken musst, reicht es, auf die Straße vor dir zu schauen (die letzten 3 Sekunden). Du brauchst nicht den Fahrplan von vor 10 Jahren, um zu wissen, ob du jetzt rechts abbiegen musst.
3. Der „intelligente Detektiv" (RAFG) ist nicht immer besser
Die Methode, bei der die KI selbst die relevantesten alten Tagebücher sucht (RAFG), war nur dann besser, wenn es um sehr spezielle, verwickelte Probleme ging (z. B. wenn eine alte Sicherheitsregel plötzlich wieder wichtig wird). Für den normalen Alltag war das einfache „Nur die letzten 3 Einträge"-Verfahren genauso gut, aber viel schneller und einfacher.
4. Die Größe der KI ist zweitrangig
Man dachte immer: „Je größer und teurer die KI, desto besser."
Die Studie sagt: Nein! Eine kleine, günstige KI, die gute Geschichte bekommt, macht fast genauso gute Arbeit wie ein riesiges, teures Modell, das keine Geschichte bekommt.
- Die Metapher: Ein junger, schlauer Praktikant, dem du die aktuellen Akten gibst, erledigt die Aufgabe besser als ein alter, berühmter Professor, dem du nur ein leeres Blatt Papier gibst.
💡 Was bedeutet das für die Praxis?
Die Forscher geben uns einen einfachen Rat für die Zukunft:
- Hör auf, alles zu speichern: Du brauchst nicht die komplette Historie der letzten 10 Jahre, um einen neuen Plan zu machen.
- Fokus auf das „Jetzt": Gib der KI nur die letzten paar Entscheidungen. Das spart Zeit, Geld und Rechenleistung.
- Qualität vor Quantität: Es ist wichtiger, dass die KI die richtigen Informationen hat, als dass sie viele Informationen hat.
- Schreib klare Tagebücher: Wenn die alten Einträge schlecht geschrieben sind (z. B. „Schau mal auf Wiki Seite 45"), kann die KI nichts daraus machen. Die KI kann nur so gut sein wie die Daten, die sie bekommt.
🎯 Fazit in einem Satz
Um KI beim Schreiben von Architektur-Plänen zu helfen, musst du ihr nicht das ganze Bibliothekswissen geben – es reicht, ihr ein kurzes, aktuelles Briefing über das zu geben, was gerade passiert ist. Der Kontext ist wichtiger als die Größe des Gehirns.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.