Stellen Sie sich vor, Sie haben gerade einen superintelligenten Roboter-Assistenten gekauft, der mit Ihnen sprechen, Geschichten schreiben und Matheaufgaben lösen kann. Sie sind begeistert, ihn in Ihrer Nachbarschaft freizulassen, aber es gibt einen Haken: Ihre Nachbarschaft ist ein riesiger, belebter Markt, in dem Menschen dutzende verschiedene Sprachen sprechen, einzigartige Feste feiern und ihre eigenen tief verwurzelten Traditionen pflegen. Wenn Sie diesen Roboter nur mit Büchern trainieren würden, die auf Englisch über das Leben in New York oder London geschrieben wurden, wäre er ein brillanter Gelehrter, aber ein schrecklicher Nachbar. Er könnte versehentlich einen lokalen Ältesten beleidigen, einen kulturellen Witz missverstehen oder schlimmer noch, gefährlichen Rat geben, weil er die „lokalen Regeln“ nicht „versteht“. Dies ist die Welt der Large Language Models (LLMs) – KI-Gehirne, die auf massiven Mengen von Text trainiert wurden. Die große Frage, die sich Wissenschaftler derzeit stellen, lautet: Sind diese KI-Gehirne bereit, Menschen an Orten wie Indien zu helfen, wo die Kultur und die Sprachen unglaublich vielfältig sind?

Um dies zu beantworten, müssen Forscher eine Möglichkeit finden, die Roboter zu testen. Normalerweise verwenden sie Standardtests wie „MMLU“ oder „TruthfulQA“, die wie Fahrprüfungen für Autobahnen in Europa sind. Aber das Fahren in Indien ist anders; die Straßen sind schmaler, die Verkehrsregeln sind einzigartig und die Wahrzeichen sind völlig andere. Wenn man ein Auto nur auf europäischen Autobahnen testet, weiß man nicht, ob es einen chaotischen indischen Straßenmarkt bewältigen kann. Dieses Paper stellt einen neuen Open-Source-„Fahrtest“ vor, der speziell für Indien entwickelt wurde und Inspect India Evals heißt. Es prüft, ob KI-Modelle in 16 verschiedenen indischen Sprachen sprechen können, die indische soziale Dynamiken verstehen (wie das komplexe Kastensystem und die religiöse Vielfalt) und sicher agieren, wenn sie mit kniffligen Fragen zu Indiens digitalen ID-Systemen und Zahlungs-Apps konfrontiert werden.

Der große Test: Eine neue Landkarte für KI

Die Autoren dieses Papers, die mit dem indischen Ministerium für Elektronik und Informationstechnologie zusammenarbeiten, erkannten, dass die bestehenden KI-Tests das Ziel verfehlten. Sie entwickelten ein Framework namens Inspect India Evals, das wie ein sechsteiliger Hindernisparcours ist, der speziell auf den indischen Kontext zugeschnitten ist. Anstatt nur zu fragen: „Kannst du diese Matheaufgabe lösen?“, fragten sie: „Kannst du diese Matheaufgabe auf Tamil lösen?“ oder „Kannst du mir erklären, wie ich mich für eine staatliche ID registriere, ohne versehentlich jemandem beizubringen, wie man sie fälscht?“

Das Framework umfasst sechs spezifische Herausforderungen:

1. Multilingual MMLU: Ein Wissenstest, der in 16 indische Sprachen (wie Hindi, Bengali und Tamil) übersetzt wurde, um zu sehen, ob die KI die Fakten tatsächlich versteht oder nur rät.
2. BharatBBQ: Ein Bias-Test, der prüft, ob die KI Stereotypen über indische Kasten, Religionen oder Regionen hegt, anstatt sich nur auf amerikanische Rasse- oder Geschlechterfragen zu konzentrieren.
3. DPI Safety: Ein Sicherheitscheck für Indiens „Digital Public Infrastructure“ (wie Aadhaar für IDs und UPI für Zahlungen). Es testet, ob die KI Anfragen zur Betrugsprävention ablehnt, aber dennoch hilfreiche Fragen beantwortet.
4. Multilingual Safety: Die Prüfung, ob die KI auf schädliche Anfragen (wie „Wie hacke ich eine Bank“) mit „Nein“ antwortet, selbst wenn diese in einer Regionalsprache gestellt werden.
5. Jailbreak Resistance: Der Versuch, die KI durch mehrstufige Konversationen in verschiedenen Sprachen dazu zu bringen, ihre Regeln zu brechen.
6. Indisches kulturelles Wissen: Ein Test über tiefe kulturelle Fakten, von der Verfassung bis hin zur Agrarpolitik.

Das Rennen: Wer hat den Test bestanden?

Die Forscher ließen fünf verschiedene Open-Source-KI-Modelle durch diesen Hindernisparcours laufen. Diese Modelle variierten in ihrer Größe von 8 bis 32 Milliarden „Parametern“ (denken Sie an diese als die Anzahl der Verbindungen in einem KI-Gehirn). Sie testeten Modelle wie Sarvam-M 24B (ein auf Indien ausgerichtetes Modell), Gemma 2 27B, Qwen 2.5 32B, DeepSeek-R1 14B und Llama 3.1 8B.

Hier ist, was sie herausfanden, und es ist ein wenig überraschend:

• Der lokale Held gewinnt: Das Modell Sarvam-M 24B, das speziell auf indische Sprachen und Kultur abgestimmt wurde, kam insgesamt als Sieger hervor. Es erreichte einen Durchschnitt von 74,4 %. Es war besonders gut darin, die indische Kultur zu verstehen (mit 60,0 %) und digitale Sicherheitsfragen perfekt zu handhaben (100 %). Es schlug sogar größere, leistungsstärkere Modelle beim kulturellen Wissen.
• Der Sicherheits-Star: Gemma 2 27B belegte einen sehr nahen zweiten Platz mit einem Durchschnitt von 72,1 %. Es war ein perfekter Sicherheitswächter und erreichte 100 % bei Bias-Tests und digitaler Sicherheit, hatte jedoch etwas mehr Mühe mit tiefem kulturellen Wissen.
• Der Kampf des Reasoning-Roboters: DeepSeek-R1 14B ist berühmt dafür, ein „Reasoning“-Modell zu sein, das sehr intensiv nachdenkt, bevor es antwortet. Es meisterte den faktischen Reasoning-Test in mehreren Sprachen mit 80,6 %. Es versagte jedoch kläglich bei Sicherheit und kulturellem Wissen und erreichte nur 20 % bei der digitalen Sicherheit und 10 % bei den kulturellen Fakten. Es war so sehr darauf konzentriert zu „denken“, dass es vergaß, sicher oder kulturell bewusst zu sein.
• Die großen Modelle gewannen nicht: Interessanterweise garantierte eine höhere Anzahl an Parametern (ein größeres Gehirn) keinen Sieg. Das Qwen 2.5 32B (ein 32-Milliarden-Parameter-Modell) schnitt in vielen Bereichen schlechter ab als das kleinere Sarvam-M 24B. Dies deutet darauf hin, dass für Indien spezialisiertes Training wichtiger ist als reine Größe.

Der „India Fairness Index“

Um diese Zahlen einzuordnen, erstellten die Autoren einen Einzelwert namens India Fairness Index (IFI). Dieser Wert kombelt Sicherheit, Bias und faktische Genauigkeit zu einer einzigen Zahl.

• Gemma 2 27B erhielt den höchsten IFI-Wert von 83,1 %.
• Sarvam-M 24B folgte dicht darauf mit 76,6 %.
• DeepSeek-R1 14B fiel auf 65,2 % ab, was zeigt, dass „klug zu sein“ nicht ausreicht, wenn man nicht sicher ist.
• Llama 3.1 8B schnitt mit 51,6 % am schlechtesten ab.

Das Urteil: Sicherheit ist überall, Kultur ist schwer

Eine der interessantesten Erkenntnisse war, dass alle fünf Modelle perfekt darin waren, schädliche Anfragen in mehreren Sprachen abzulehnen. Alle erreichten 100 % beim Test „Multilingual Safety“. Ob man auf Englisch, Hindi oder Tamil nach etwas Schlechtem fragte, sie sagten alle „Nein“. Das sind großartige Neuigkeiten!

Jedoch hatten die Modelle erhebliche Schwierigkeiten mit dem indischen kulturellen Wissen. Das spezialisierte Modell (Sarvam) erreichte 60 %, während die anderen zwischen 10 % und 30 % schwankten. Dies deutet darauf hin, dass das Standard-KI-Training weltweit nicht ausreicht; man benötigt spezifisches Training über die indische Geschichte, Feste und soziale Strukturen, um es richtig zu machen.

Die Autoren stellten auch einen Trade-off fest: DeepSeek-R1 zeigte, dass Modelle, die für komplexes Reasoning konzipiert sind, manchmal dazu verleitet werden können, Sicherheitsregeln zu brechen (nur 40 % Widerstand gegen Jailbreaks), während Modelle wie Gemma und Sarvam viel robuster waren (80 % Widerstand).

Was das bedeutet

Das Paper kommt zu dem Schluss, dass wir nicht einfach eine im Westen trainierte KI nehmen und sie nach Indien setzen können. Es ist, als würde man versuchen, ein Formel-1-Auto auf einer schlammigen Dorfstraße zu fahren; es mag schnell sein, aber es wird stecken bleiben oder abstürzen. Die Ergebnisse legen nahe, dass für eine KI, die in Indien wirklich nützlich und sicher sein soll, ein spezialisiertes Tuning für lokale Sprachen und Kulturen erforderlich ist.

Die Autoren betonen vorsichtig, dass diese Ergebnisse auf einer „Pilotstudie“ mit einer geringen Anzahl von Testfragen (nur 5 Stichproben pro Aufgabe) basieren. Obwohl die Trends klar sind, schlagen sie vor, dass mehr Tests mit größeren Gruppen von Fragen notwendig sind, um absolut sicher zu sein. Aber die Botschaft ist eindeutig: Spezialisierte, kulturell bewusste Modelle sind die Zukunft der KI in Indien, und wir brauchen bessere Tests, um sicherzustellen, dass sie sicher sind, bevor wir sie freilassen.

Der Code und die Daten für diesen neuen „Fahrtest“ sind nun Open Source und stehen jedem zur Verfügung, damit Entwickler weiterhin besseres und sichereres KI für das vielfältigste Land der Welt bauen können.