Technisches Resümee: LINGUA-AUDIT

Problemstellung

Da Large Language Models (LLMs) zunehmend als konversationelle Schnittstellen für öffentliche Dienste und zivilgesellschaftliche Wohlfahrtsprogramme in multilingualen Gesellschaften eingesetzt werden, ist eine kritische Herausforderung entstanden: KI-vermittelte Informationsungleichheit. Dieses Phänomen ist definiert als die systematische Divergenz in der substanziellen, faktischen und handlungsrelevanten Information, die Bürgern bei identischen Informationsbedürfnissen unter unterschiedlichen linguistischen Bedingungen bereitgestellt wird.

In hochsensiblen zivilen Kontexten (z. B. Gesundheitswesen, gesetzliche Dokumentation, Wohlfahrtsprogramme) sind Leistungsdisparitäten nicht bloß stilistischer oder flüssigkeitsbasierter Natur. Stattdessen manifestieren sie sich als substanzielle Schäden, bei denen Anfragen in Nicht-Englisch oder Code-Switching (z. B. Hinglish) im Vergleich zu englischen Anfragen zu unvollständiger, veralteter oder faktisch falscher Beratung führen. Bestehende multilinguale Evaluierungen konzentrieren sich weitgehend auf oberflächliche Fähigkeiten (Perplexität, Übersetzungsbewertungen oder Multiple-Choice-Prüfungen) und versäumen es zu bewerten, ob identische zivile Informationsbedürfnisse über Sprachen hinweg gerecht behandelt werden.

Methodik

Das Paper präsentiert LINGUA-AUDIT, ein reproduzierbares Framework, das darauf ausgelegt ist, substantielle Informationsungleichheit systematisch zu evaluieren. Es handelt sich um ein Benchmark-Design- und Messprotokoll, nicht um einen empirischen Vergleich von Live-Modellen.

1. Benchmark-Design und Aufgabenkonstruktion

• Umfang: Das Framework verankert 150 reale administrative Aufgaben in fünf wesentlichen zivilen Domänen in Indien: Gesundheitswesen, Bildung, öffentliche Dienste, Finanzen und Allgemeinwissen.
• Ground Truth: Jede Aufgabe ist in öffentlichen gesetzlichen Behörden verwurzelt, die in einem Master-Aufgabenregister erfasst sind (quellenbasiert auf offiziellen Richtlinien, Gazette-Bekanntmachungen, Ministerien-Zirkularen und departementalen Domänen). Die Ground Truth repräsentiert jedoch eine interne Kuration durch den Projektautor basierend auf offiziellen administrativen Programmen, statt eines unabhängig zertifizierten rechtlichen Goldstandards. Das Register erfasst Programmnamen und Stichtage, enthält aber keine direkten URLs, verbatim gesetzliche Auszüge oder Clause-to-Fact-Mapping. Die Aufgaben sind nach Underlying Information Needs (UINs) indiziert – sprachunabhängigen konzeptionellen Spezifikationen der kommunikativen Intention und des faktischen Umfangs, wodurch ein Englisch-normativer Bias eliminiert wird.
• Faktische Struktur: Jede Aufgabe umfasst:
  • Critical Facts (CF): 3 obligatorische gesetzliche Kriterien pro Aufgabe (z. B. Einkommensgrenzen, Fristen).
  • Important Facts (IF): 2 essenzielle prozedurale Kontexte pro Aufgabe.
  • Safety Constraints: 1 explizite Grenze pro Aufgabe zur Vermeidung finanzieller Ausbeutung.

2. Experimentelle Konfiguration

Das Framework definiert eine vollständige faktoriale Matrix für die Datenerhebung und Bewertung:

• 150 Aufgaben × 3 Sprachbedingungen (formales Englisch, Devanagari-Hindi, romanisiertes Hinglish) × 4 Zielmodell-Slots (Google, OpenAI, Anthropic, Meta) × 3 Wiederholungen.
• Gesamtzellen: 5.400 faktorielle Zellen.
• Aktueller Status: Das Paper berichtet über eine deterministische Software-Fixture (synthetische Baseline), die im Arbeitsspeicher generiert wurde, um die Pipeline-Integrität zu verifizieren. Es wurden noch keine Live-Modell-API-Abfragen durchgeführt; die 5.400 Datensätze sind programmatische Fixtures, keine echten Modell-Outputs.

3. Messmetriken

Das Framework operationalisiert 13 Antwortqualitätsmetriken über fünf Dimensionen:

• Faktische Präzision: Claim-Level-Präzision (M1) und Kontradiktions-Präzision (M1b).
• Vollständigkeit & Auslassung: Abdeckung kritischer Fakten (M2a), gewichtete Vollständigkeit (M2c) und Auslassungsrate kritischer Fakten (M3).
• Faktische Fehler: Deduzierte Fehlerzahlen (M4a), binäre Fehlerindikatoren (M4b) und normalisierte Fehlerraten (M4c).
• Authentizität & Sicherheit: Zitierqualität (M5), Domänen-Sicherheitsniveau (M6) und semantische Erhaltung relativ zu UINs (M7).
• Stochastische Konsistenz: Vollständigkeitsvarianz (M8a) und Critical Fact Jaccard Konkordanz (M8b) über Wiederholungen hinweg.

4. Statistischer Analyseplan

Ein präspezifizierter statistischer Plan nutzt:

• Generalized Linear Mixed Models (GLMMs) für proportionale Ergebnisse (Binomial für M1, M2a, M3; Negative Binomial für M4a).
• Cumulative Link Mixed Models (CLMMs) für ordinale Bewertungen (M5, M6, M7).
• Two-Part Hurdle-Modelle für Varianz- und Konkordanzmetriken.
• Multiplizitätskontrolle: Kontrolle der Family-wise Error Rate mittels Holm–Bonferroni Step-down-Korrektur für eine primäre konfirmatorische Familie von 9 Hypothesen (3 Endpunkte × 3 Sprachkontraste).

Zentrale Beiträge

1. Benchmark-Design für zivile Informationen: Ein kuratierter Satz von 150 administrativen Aufgaben, indiziert durch sprachunabhängige UINs, das über übersetzte Korpora hinausgeht, um authentische lokalisierte Problemlösungen zu testen.
2. Multidimensionale operationale Metriken: Mathematische Spezifikationen für 13 Metriken, die gezielt auf substantielle Informationsungleichheit (Auslassungen, Halluzinationen, Sicherheitsrisiken) abzielen statt auf oberflächliche Fluenz.
3. Methodische Governance: Explizite Quarantäne ungültiger vorangegangener synthetischer Evaluator-Validierungsartefakte (bei denen automatisierte Evaluatoren als "menschliche" Ground Truth geklont wurden) und eine klare Trennung von Software-Korrektheit und empirischer Konstruktvalidität.
4. Reproduzierbare Software-Pipeline: Eine Open-Source Python Scoring-Architektur, die durch 115 bestandene Unit- und Regressionstests gegen die 5.400-Zellen-Faktormatrix verifiziert wurde.
5. Integration von Code-Switching: Behandlung von Hindi-Englisch-Code-Switching (Hinglish) als primäre, gleichberechtigte Evaluierungsbedingung neben formalem Englisch und Hindi.

Ergebnisse und Validierungsstatus

Das Paper stellt explizit klar, dass keine empirischen Modellvergleiche oder Rankings der Sprachdisparität berichtet werden. Die präsentierten Ergebnisse sind rein technische Validierungen des Frameworks selbst:

• Pipeline-Integrität: Die Software generierte und verifizierte erfolgreich 5.400 synthetische Datensätze mit 100 % Abdeckung über die Faktormatrix.
• Kryptographische Verifizierung: Die Datensatz-Fixture-Datei wurde kryptographisch mit verifizierten SHA-256 Hashes auditiert.
• Baseline-Diagnostik: Synthetische Fixtures zeigten null Latenz und null Varianz über die Wiederholungen hinweg, was die Fähigkeit der Pipeline bestätigt, Daten korrekt zu parsen und zu serialisieren.
• Validierungseinschränkungen: Alle 13 Qualitätsmetriken bleiben empirisch unvalidiert, bis eine echte bilaterale menschliche Annotation erfolgt. Eine vorangegangene automatisierte Evaluator-Validierung wurde als auf geklonten synthetischen Referenzen basierend identifiziert und in Quarantäne gestellt.

Bedeutung und Ansprüche

Das Paper positioniert LINGUA-AUDIT als notwendige Infrastruktur für die algorithmische Governance in multilingualen Gesellschaften. Die Bedeutung liegt in:

• Verschiebung des Evaluierungsparadigmas: Weg von "oberflächlicher Fluenz" hin zu "substanzieller Informationsgerechtigkeit", in der erkannt wird, dass in zivilen Kontexten ein fehlendes Pflichtdokument oder eine veraltete Frist einen greifbaren administrativen Schaden darstellt.
• Verhinderung zirkulärer Validierung: Durch die Aufdeckung und Quarantäne eines "zirkulären Selbstvalidierungsfehlers" (bei dem synthetische Outputs fälschlicherweise als menschliche Ground Truth angesehen wurden), etabliert das Framework einen strengen Standard für methodische Transparenz in der KI-Auditierung.
• Zukunftssichere Infrastruktur: Das Framework bietet die präspezifizierten Messinstrumente und die statistische Architektur, die erforderlich sind, um Frontier-Modelle zu auditieren, sobald die notwendigen Live-Datenerhebungen (Live-Modellantworten und menschliche Annotationen) abgeschlossen sind.

Der Autor schließt damit ab, dass LINGUA-AUDIT noch nicht beantwortet, ob spezifische Modelle Ungleichheit aufweisen; vielmehr stellt es das offene, reproduzierbare und statistisch rigorose Framework bereit, das erforderlich ist, um eine solche Ungleichheit zu detektieren und zu quantifizieren, sobald die notwendigen empirischen Daten (Live-Modellantworten und menschliche Annotationen) erhoben werden.