Rethinking the Risk of Uncertainty: Human-AI Interaction in Household Mycology

Die Studie zeigt, dass KI-gestützte Pilzbestimmungstools aufgrund ihrer mangelnden Zuverlässigkeit und häufigen Fehler in realen Szenarien nur als ergänzende Hilfsmittel und nicht als alleinige Grundlage für sicherheitskritische Entscheidungen geeignet sind.

Das Wesentliche

Titel: Warum der KI-Pilzfinder noch kein Ersatz für den echten Pilzsammler ist

Stellen Sie sich vor, Sie gehen durch den Wald. Vor Ihnen liegt ein lecker aussehender Pilz. In der Hand halten Sie nicht mehr nur einen Korb, sondern ein Smartphone mit einer KI-App, die Ihnen verspricht: „Ich erkenne jeden Pilz sofort und sage dir, ob er essbar ist!" Klingt wie ein Traum, oder?

Dieser wissenschaftliche Bericht von Nik V. Kuznetsov ist im Grunde eine sehr wichtige Warnung vor genau diesem Traum. Er sagt im Klartext: Verlassen Sie sich nicht blind auf diese Apps, wenn es um Ihr Leben geht.

Hier ist die Erklärung der Studie, übersetzt in einfache Sprache und mit ein paar bildhaften Vergleichen:

1. Der Test: Ein Wald voller Fallen

Der Forscher hat 12 verschiedene KI-Apps und Webseiten getestet. Er nahm 103 echte Fotos von Pilzen mit – nicht aus einem glatten Lehrbuch, sondern aus dem echten, chaotischen Wald. Es gab Pilze, die von Blättern verdeckt waren, solche, die im Regen glänzten, und solche, die ganz anders aussahen als im Internet.

Das Ergebnis? Die Apps waren wie ein Schüler, der gerade erst das ABC gelernt hat, aber schon die ganze Bibel auswendig lernen soll. Selbst die „besten" Apps hatten große Probleme. Keine einzige App konnte jedes Mal den richtigen Namen nennen. Oft warfen sie dem Nutzer eine Liste von fünf Möglichkeiten hin, wobei die richtige Antwort irgendwo in der Mitte versteckt war.

2. Die zehn Gründe, warum die KI scheitert (Die „Fangfallen")

Die Studie listet zehn Hauptgründe auf, warum die KI im Wald oft ins Leere läuft. Hier sind sie mit einfachen Vergleichen erklärt:

• Verstecktes Spiel (Verdeckung):
  • Das Problem: Ein Pilz ist halb von einem Busch verdeckt.
  • Der Vergleich: Stellen Sie sich vor, Sie sehen nur einen Schuh eines Menschen, der hinter einem Zaun steht. Die KI denkt vielleicht: „Das ist ein roter Ball" oder „Das ist ein Vogel", weil sie den ganzen Menschen (den Pilz) nicht sieht.
• Tarnkappen-Pilze:
  • Das Problem: Manche Pilze sehen aus wie Laub oder Erde.
  • Der Vergleich: Das ist wie ein Tarnanzug im Militär. Selbst ein erfahrener Waldläufer muss genau hinschauen. Die KI, die nach „typischen Pilzformen" sucht, übersieht diese unsichtbaren Meister völlig.
• Licht und Schatten:
  • Das Problem: Ein Foto bei Nacht mit Blitz sieht anders aus als eines bei diffusem Tageslicht.
  • Der Vergleich: Die KI ist wie ein Fotograf, der nur bei perfektem Studio-Licht funktioniert. Sobald es dämmert oder der Hintergrund zu bunt ist, wird sie verwirrt.
• Zerkochte Pilze:
  • Das Problem: Ein Pilz, der schon geschnitten oder gewaschen wurde.
  • Der Vergleich: Wenn Sie einem KI-System ein Foto von einem Burger zeigen, erkennt es vielleicht das Brötchen, aber nicht mehr das Fleisch. Bei Pilzen fehlen durch das Schneiden oft die wichtigen Merkmale (wie der Stiel oder der Hutrand), die die KI braucht.
• Der „Verkleidete" Pilz:
  • Das Problem: Ein Pilz sieht in einem Alter ganz anders aus als im anderen.
  • Der Vergleich: Ein Baby sieht nicht aus wie ein Erwachsener. Die KI erkennt den „Knopf" (den jungen Pilz) oft nicht als denselben Pilz, den sie als „reifen" Pilz kennt. Das ist gefährlich, denn viele giftige Pilze sehen im jungen Alter harmlos aus.
• Die Party mit vielen Gästen:
  • Das Problem: Auf einem Foto sind mehrere Pilzarten zu sehen.
  • Der Vergleich: Die KI ist wie ein DJ, der nur einen Song abspielen kann. Wenn Sie ihm ein Foto von drei verschiedenen Pilzen zeigen, versucht sie, nur einen davon zu erkennen und ignoriert die anderen oder verwechselt sie komplett.
• Der Doppelgänger:
  • Das Problem: Viele Pilze sehen sich verdammt ähnlich (gleiche Farbe, gleiche Punkte).
  • Der Vergleich: Das ist wie bei Zwillingen, die sich nur ein kleines Muttermal unterscheiden. Die KI kann oft nicht sagen: „Das ist der gute Bruder (essbar), das ist der böse Bruder (giftig)." Sie verwechselt sie gerne.
• Die riesige Familie:
  • Das Problem: Es gibt tausende Pilzarten, und die Wissenschaft selbst streitet noch über ihre Namen.
  • Der Vergleich: Die KI lernt aus einem Schulbuch. Wenn das Schulbuch veraltet ist (weil die Wissenschaft neue Namen erfunden hat), antwortet die KI mit veralteten Informationen.
• Falsche Beschriftungen:
  • Das Problem: Im Internet sind viele Fotos falsch beschriftet.
  • Der Vergleich: Wenn Sie einem Kind beibringen, dass eine Katze ein Hund ist, wird das Kind später auch denken, dass alle Katzen Hunde sind. Die KI lernt aus dem Internet – und das Internet ist voller Fehler.
• Der regionale Bias:
  • Das Problem: Eine App aus China kennt chinesische Pilze gut, aber keine europäischen.
  • Der Vergleich: Ein Koch aus Italien kann eine Pizza perfekt machen, aber wenn Sie ihm ein deutsches Brötchen geben, weiß er nicht, was er damit anfangen soll. Die Apps sind oft nur auf ihre Heimatregion trainiert.

3. Das Fazit: Der KI-Assistent, nicht der Chef

Die wichtigste Botschaft dieser Studie ist: KI ist ein nützlicher Begleiter, aber kein Experte.

Stellen Sie sich die KI wie einen sehr gutaussehenden, aber unerfahrenen Touristenführer vor. Er kann Ihnen vielleicht sagen: „Hey, das sieht aus wie ein Pilz!" Aber wenn Sie ihn fragen: „Ist das giftig?", zuckt er nur mit den Schultern oder gibt Ihnen fünf verschiedene Antworten.

Die goldene Regel:
Wenn Sie Pilze sammeln wollen, um sie zu essen, ist die KI kein Sicherheitsnetz. Ein falsches Ergebnis kann tödlich sein. Der alte Spruch gilt immer noch: „Es gibt alte Pilzsammler und es gibt kühne Pilzsammler. Aber es gibt keine alten, kühnen Pilzsammler."

Verwenden Sie die Apps, um Spaß zu haben und vielleicht einen ersten Hinweis zu bekommen. Aber für die endgültige Entscheidung – besonders wenn es um Ihre Gesundheit geht – verlassen Sie sich auf echte Experten, Bücher oder Ihre eigene Erfahrung. Die KI ist heute noch nicht schlau genug, um Ihr Leben zu retten.

Technische Zusammenfassung

Technische Zusammenfassung: „Rethinking the Risk of Uncertainty: Human-AI Interaction in Household Mycology"

1. Problemstellung
Die rasante Verbreitung von KI-gestützten Anwendungen zur Identifizierung von Naturobjekten, insbesondere von Pilzen (Macromyceten), hat zu einer wachsenden Abhängigkeit von diesen Tools geführt. Das zentrale Problem besteht darin, dass Nutzer oft eine unangemessene Zuversicht in die Zuverlässigkeit dieser KI-Systeme setzen, insbesondere bei sicherheitskritischen Entscheidungen wie der Bestimmung von Speisepilzen. Die Studie stellt fest, dass KI-Systeme, die auf Bilderkennung basieren, in realen Umgebungen erhebliche Fehleranfälligkeiten aufweisen. Fehlerhafte Identifizierungen können zu schwerwiegenden gesundheitlichen Folgen bis hin zum Tod führen. Zudem gibt es eine Diskrepanz zwischen der Erwartung einer „garantierten" Identifizierung durch Apps und der tatsächlichen Leistungsfähigkeit der Modelle, die oft durch unvollständige Trainingsdaten, Umgebungsvariablen und taxonomische Komplexität eingeschränkt ist.

2. Methodik
Die Studie führte eine vergleichende Analyse von 12 populären KI-basierten Pilzidentifizierungs-Tools durch (6 mobile Apps und 6 Web-Plattformen).

• Datensatz: Es wurden 103 hochauflösende Originalfotos von Pilzfruchtkörpern verwendet, die über einen Zeitraum von 10 Jahren in Eurasien aufgenommen wurden. Der Datensatz umfasst 62 Arten aus 40 Gattungen.
• Testdesign: Die Bilder wurden in sieben thematische Testgruppen (Topic Test Groups, TTGs) unterteilt, um spezifische Herausforderungen zu simulieren. Die Identifizierungsanfragen wurden mit lateinischen Artbezeichnungen sowie mit Namen in vier Sprachen (Englisch, Schwedisch, Russisch, Chinesisch) gestellt.
• Bewertungsskala: Die Antworten der KI-Tools wurden von drei unabhängigen Forschern auf einer Skala von 0 bis 3 bewertet:
  • 0: Nur falsche Antworten.
  • 1: Richtige Antwort enthalten, aber nicht an erster Stelle.
  • 2: Richtige Antwort an erster Stelle.
  • 3: Nur die richtige Antwort angegeben.
• Metrik: Ein Gesamtbewertungswert (Total Rating Score, TRS) wurde für jede Anwendung berechnet, um die allgemeine Zuverlässigkeit und praktische Nutzbarkeit zu quantifizieren.
• Testumgebung: Die Tests wurden unter realen Bedingungen auf verschiedenen Geräten (iPhone, Motorola, Samsung Galaxy, PC) durchgeführt.

3. Schlüsselbeiträge und identifizierte Herausforderungen
Die Studie identifiziert und analysiert zehn Hauptfaktoren, die zu Fehlfunktionen von KI-Anwendungen führen:

1. Okklusion (Verdeckung): Wenn Pilze teilweise durch Vegetation verdeckt sind, versagen die meisten Algorithmen komplett oder identifizieren stattdessen die verdeckenden Pflanzen.
2. Tarnung (Krypsis): Arten mit erdigen, unauffälligen Farben (z. B. Craterellus tubaeformis) werden oft nicht erkannt, selbst in kontrollierten Umgebungen.
3. Licht, Kontrast und Hintergrund: Die Erkennungsgenauigkeit hängt stark von der Beleuchtung und dem Hintergrund ab. Hoher Kontrast verbessert die Ergebnisse, während diffuse Lichtverhältnisse oder unruhige Hintergründe die Leistung drastisch senken.
4. Verarbeitete Pilze: Fotos von geschnittenen oder zubereiteten Pilzen führen zu massiven Fehlern, da morphologische Schlüsselmerkmale fehlen.
5. Morphologische Variation: KI-Modelle sind oft auf „Standard"-Formen trainiert. Abweichungen im Lebenszyklus (z. B. der „Knopf"-Stadium von Amanita muscaria) oder intraspezifische Variationen führen zu Misserfolgen.
6. Mehrere Arten pro Bild: Die meisten Tools sind nicht darauf ausgelegt, mehrere Arten in einem Bild gleichzeitig zu identifizieren; das Vorhandensein einer zweiten Art führt oft zum Versagen der Erkennung der ersten.
7. Ähnlichkeit der Färbung: Arten mit ähnlicher Färbung (z. B. rote Russula-Arten vs. Amanita muscaria) werden häufig verwechselt, besonders wenn Umweltfaktoren (wie Regen) typische Merkmale (z. B. weiße Schuppen) entfernen.
8. Taxonomische Vielfalt: Die große Vielfalt innerhalb der Basidiomycota und die Notwendigkeit von DNA-Sequenzierung für eine sichere Bestimmung übersteigen die Fähigkeiten rein visueller KI-Modelle.
9. Fehletikettierung und Desinformation: Trainingsdaten enthalten oft falsch etikettierte Bilder (z. B. Verwechslung von Chaga mit anderen Holzpilzen), was die Modelle verzerrt. Zudem generieren einige KI-Modelle fiktive Pilznamen.
10. Geografische und zeitliche Verzerrungen: Die Leistung der Tools ist stark vom geografischen Ursprung der Trainingsdaten abhängig. Westliche Apps erkennen östliche Arten schlecht und umgekehrt. Auch neu beschriebene Arten werden nicht erkannt.

4. Ergebnisse

• Geringe Zuverlässigkeit: Keine der getesteten 12 Anwendungen konnte konsistent eine einzige, korrekte Artbestimmung liefern. Selbst die besten Tools scheiterten häufig in realen Szenarien.
• Fehlende Eindeutigkeit: Anstatt einer klaren Antwort erhielten die Nutzer oft mehrere Optionen, wobei die korrekte Antwort nicht immer an erster Stelle stand oder gar nicht enthalten war.
• Kontextabhängigkeit: Die Erkennungsrate sank drastisch bei Okklusion, schlechter Beleuchtung, verarbeiteten Pilzen oder bei der Darstellung von Jungpilzen.
• Regionale Bias: Chinesische Apps zeigten bessere Ergebnisse bei asiatischen Arten, versagten aber bei europäischen, während westliche Apps das Gegenteil zeigten.
• Gesamtbewertung: Der TRS zeigte, dass keine der Plattformen für sicherheitskritische Entscheidungen (wie den Verzehr) geeignet ist.

5. Bedeutung und Fazit
Die Studie kommt zu dem Schluss, dass KI-gestützte Pilzidentifizierung derzeit nur als ergänzendes Hilfsmittel betrachtet werden darf und keinesfalls als alleinige Entscheidungsgrundlage.

• Sicherheitsrisiko: Die Abhängigkeit von KI ohne menschliche Überprüfung birgt ein hohes Risiko für Vergiftungen.
• Technische Grenzen: Aktuelle Computer-Vision-Modelle sind nicht in der Lage, die komplexe taxonomische Realität, morphologische Variationen und Umgebungsvariablen im Freiland zuverlässig zu verarbeiten.
• Empfehlung: Nutzer müssen sich der inhärenten Unsicherheit bewusst sein. Die Verantwortung für eine korrete Identifizierung liegt weiterhin beim Menschen, insbesondere bei der Entscheidung über die Genießbarkeit von Pilzen. Die Studie fordert eine kritischere Haltung gegenüber den Versprechen von KI-Anbietern und betont die Notwendigkeit, menschliche Expertise als unverzichtbaren Teil der Mensch-KI-Interaktion zu bewahren.