FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts
Der Beitrag stellt einen Ansatz vor, der mit Few-Shot-Prompting von GPT-4.1 eine F1-Bewertung von 0,65 zur Erkennung und Klassifizierung von Suchtgewohnheiten in spanischen klinischen Texten erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
🕵️♂️ Die Detektive im digitalen Krankenhaus: Wie KI schädliche Gewohnheiten findet
Stell dir vor, du hast einen riesigen Haufen aus alten, handschriftlichen Notizbüchern. Das sind die Krankenakten (in diesem Fall auf Spanisch). In diesen Büchern stehen Geschichten über Patienten, aber sie sind chaotisch, unstrukturiert und voller Fachchinesisch.
Ein riesiges Problem: Etwa 80 % dieser medizinischen Daten sind so ein „Wirrwarr". Es ist schwer für Computer, daraus etwas Sinnvolles zu lernen. Aber es gibt eine wichtige Information, die wir dringend brauchen: Welche Patienten haben Suchtprobleme? Rauchen? Alkohol? Drogen?
Das ist wie nach einer bestimmten Nadel im Heuhaufen zu suchen, nur dass der Heuhaufen riesig ist und die Nadel manchmal nur als „ein bisschen Rauch" oder „ein Glas zu viel" verschleiert wird.
🎯 Die Mission: „ToxHabits"
Die Forscher von der Universität Sofia (in Bulgarien) haben sich einer Herausforderung gestellt, die wie ein großes internationales Detektiv-Spiel hieß: ToxHabits.
Die Aufgabe war einfach: Lies die spanischen Arztberichte und finde alle Stellen, wo von Suchtmitteln die Rede ist. Und zwar nicht nur „Drogen", sondern genau: Tabak, Alkohol, Cannabis oder andere Drogen.
🤖 Der neue Super-Detektiv: Die KI (LLM)
Früher haben Computer versucht, das mit starren Regeln zu machen (wie ein Roboter, der nur nach dem Wort „Zigarette" sucht). Aber das funktioniert schlecht, wenn jemand schreibt: „Der Patient raucht seit 20 Jahren."
Die Forscher haben stattdessen eine moderne KI (ein sogenanntes „Large Language Model", kurz LLM, ähnlich wie ein sehr schlauer Chatbot) eingesetzt.
Wie haben sie das gemacht? Mit einer cleveren Trickkiste:
Der „Lehrmeister"-Ansatz (Few-Shot Learning):
Stell dir vor, du willst einem Roboter beibringen, was eine „Zigarette" ist. Du sagst nicht nur: „Suche Zigaretten."
Stattdessen zeigst du ihm erst einmal 5 Beispiele aus den alten Büchern:- Beispiel 1: „Raucht seit 10 Jahren" → Das ist Tabak.
- Beispiel 2: „Trinkt jeden Tag ein Glas" → Das ist Alkohol.
- Beispiel 3: „Nimmt Cannabis" → Das ist Cannabis.
Dann sagst du dem Roboter: „Okay, jetzt suche in diesem neuen Text etwas Ähnliches!"
Das funktioniert wie ein Schüler, der durch Beispiele lernt, statt durch eine lange Theorie.
Der „Kleinschritt"-Trick:
Die Texte waren zu lang für den Roboter auf einmal. Also haben die Forscher die Berichte wie ein Buch in kleine Kapitel geschnitten. So kann die KI sich besser konzentrieren und macht weniger Fehler.Der „Zu-viel"-Fehler:
Die KI war manchmal zu eifrig. Wenn im Text stand: „Der Patient hat kein Alkoholproblem", hat die KI manchmal trotzdem „Alkohol" markiert. Oder sie hat ganze Sätze markiert, statt nur das Wort.- Beispiel: Statt nur „Alkohol" zu finden, fand sie „konsumiert Alkohol täglich".
Die Forscher mussten dann nachträglich die Sätze kürzen, damit nur das Wichtige übrig bleibt.
- Beispiel: Statt nur „Alkohol" zu finden, fand sie „konsumiert Alkohol täglich".
🏆 Das Ergebnis: Ein guter Start!
Die KI (speziell ein Modell namens GPT-4.1) hat eine Trefferquote von 65 % erreicht.
- Das ist gut: Es zeigt, dass KI auch in einer Sprache wie Spanisch, für die es nicht so viele Trainingsdaten gibt, sehr gut arbeiten kann.
- Das ist noch nicht perfekt: Ein klassischer Computer-Algorithmus (der nur nach Wörtern sucht) hat zwar mehr Dinge gefunden, aber viele davon waren falsch. Die KI war genauer, hat aber manchmal Dinge übersehen.
💡 Warum ist das wichtig?
Stell dir vor, ein Arzt in Spanien behandelt einen Patienten. Wenn die KI sofort weiß: „Aha, dieser Patient hat eine lange Geschichte mit Drogenkonsum", kann der Arzt die Behandlung viel besser anpassen.
Die Forscher sagen: „Wir haben einen vielversprechenden Weg gefunden." Es ist wie der erste Schritt, um aus einem chaotischen Berg Papier ein geordnetes, nützliches Archiv zu machen.
Zusammengefasst:
Die Forscher haben einem sehr schlauen KI-Modell beigebracht, wie ein Detektiv in spanischen Arztbriefen nach Sucht-Gewohnheiten zu suchen. Sie haben ihm Beispiele gezeigt, damit es lernt, und ihm geholfen, nicht zu viel zu markieren. Das Ergebnis ist ein vielversprechender neuer Weg, um Patientendaten automatisch zu verstehen – und das sogar in einer Sprache, die für Computer oft schwierig ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.