Towards Cybersecurity SuperIntelligence (CSI): What's the best harness for cybersecurity?
Dieser Beitrag stellt Cybersecurity SuperIntelligence (CSI) vor, eine Meta-Gerüstarchitektur, die heterogene LLM-gesteuerte Agenten-Harnesses über ein gemeinsames Blackboard vereinheitlicht und nachweist, dass die Kombination strukturell unterschiedlicher Gerüste eine deutlich höhere Abdeckung von Cybersicherheitsherausforderungen (57,6 %) und Effizienz erzielt als jedes einzelne Gerüst allein.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen (eine Cybersicherheitsherausforderung). Sie haben einen sehr klugen Assistenten (ein KI-Modell), der Ihnen helfen kann, aber die Art und Weise, wie Sie ihm Anweisungen geben, ist genauso wichtig wie die Intelligenz des Assistenten.
Diese Arbeit stellt eine einfache Frage: Was ist der beste Weg, diese KI zu „nutzen" oder zu leiten, um Cybersicherheitsprobleme zu lösen?
Die Forscher entdeckten, dass es keine einzige „perfekte" Methode gibt, Anweisungen zu erteilen. Stattdessen liegt das Geheimnis des Erfolgs darin, ein Team verschiedener Anweisungsstile einzusetzen, die zusammenarbeiten.
Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:
1. Das Problem: Ein Maß passt nicht für alle
Stellen Sie sich die KI-Modelle als einen brillanten Detektiv vor. Allerdings können Sie diesen Detektiv in fünf verschiedenen „Uniformen" oder „Stilen" (sogenannten Scaffolds) einsetzen:
- Stil A (CSI::Claude): Der Detektiv, der mit Ihnen spricht, Fragen stellt und Werkzeuge nacheinander ausprobiert.
- Stil B (CSI::Codex): Der Detektiv, der Code schreibt, um das Problem automatisch zu lösen.
- Stil C (CSI::GCAI): Ein minimalistischer Detektiv, der mit sehr wenigen Worten direkt auf den Punkt kommt.
- Stil D (CSI::CAI): Ein strenger Detektiv, der einem sehr engen, begrenzten Satz von Regeln folgt.
- Stil E (CSI::Mistral): Ein Detektiv, der in einzelnen Impulsen arbeitet, anstatt in langen Gesprächen.
Die Forscher testeten alle fünf Stile an 33 verschiedenen Cybersicherheits-Puzzles. Sie stellten fest, dass kein einzelner Stil in allem der Beste war.
- Manchmal löste Stil A ein Puzzle, das Stil B nicht lösen konnte.
- Manchmal löste Stil C ein Puzzle, das Stil A übersehen hatte.
- Manchmal fand Stil D eine Lösung, die niemand sonst sah.
Es ist wie bei einer Sportmannschaft: Sie möchten kein Team aus fünf Torhütern. Sie brauchen einen Torhüter, einen Stürmer und einen Verteidiger. Jeder hat eine einzigartige Stärke.
2. Das „Union"-Ergebnis: Sie in einen Raum bringen
Zuerst versuchten die Forscher, diese fünf Stile nacheinander auszuführen (oder einfach den besten auszuwählen).
- Der beste einzelne Stil löste etwa 45 % der Puzzles.
- Wenn sie die Ergebnisse aller vier Hauptstile kombinierten (wobei sie den fünften vorübergehend ignorierten), lösten sie 51,5 % der Puzzles.
Dies bewies, dass die Stile komplementär sind. Sie scheitern an unterschiedlichen Dingen. Wenn Sie ein Team verschiedener Stile haben, decken Sie mehr ab als jeder einzelne Experte allein.
3. Der „Blackboard"-Durchbruch: Die wahre Magie
Die Forscher hörten nicht einfach bei einem Team auf; sie bauten ein System, in dem das Team in Echtzeit miteinander sprechen konnte.
Sie schufen eine „Blackboard" (ein gemeinsames digitales Whiteboard).
- Funktionsweise: Alle verschiedenen KI-Stile laufen gleichzeitig. Während sie arbeiten, schreiben sie ihre Erkenntnisse, Hinweise und Teillösungen auf dieses gemeinsame Blackboard.
- Die Magie: Wenn „Stil A" feststeckt, kann er auf das Blackboard schauen und sehen, dass „Stil B" gerade einen Hinweis gefunden hat, der ihm hilft. Wenn „Stil C" ein kleines Puzzleteil findet, kann „Stil D" dieses Stück nutzen, um die Aufgabe zu beenden.
Das Ergebnis:
- Indem sie Informationen austauschen ließen, lösten sie 57,6 % der Puzzles.
- Das ist 27 % besser als der beste einzelne Stil, der allein arbeitete.
- Sie erreichten dies schneller (20,2 Stunden vs. 26,8 Stunden) und zu ähnlichen Kosten.
4. Das große Fazit
Die Arbeit kommt zu dem Schluss, dass die „beste Nutzung" für Cybersicherheits-KI nicht darin besteht, einen einzigen perfekten, superschlauen KI-Agenten zu bauen.
Stattdessen besteht der beste Ansatz darin, ein vielfältiges Team verschiedener Agenten zu bauen, die alle dasselbe zugrunde liegende Gehirn (dasselbe KI-Modell) verwenden, aber mit unterschiedlichen „Persönlichkeiten" oder Arbeitsweisen. Wenn Sie ihnen erlauben, ein „Blackboard" zum Austausch von Ideen zu nutzen, werden sie viel schlauer als die Summe ihrer Teile.
Kurz gesagt: Suchen Sie nicht nach dem einen perfekten Werkzeug. Bauen Sie eine Werkzeugkiste mit verschiedenen Werkzeugen, lassen Sie sie zusammenarbeiten und beobachten Sie, wie sie Probleme lösen, die keiner von ihnen allein lösen könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.