FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

Stellen Sie sich vor, Sie sitzen in einem Prüfungssaal mit hohem Einsatz, aber anstatt nur Wörter auf einer Seite zu lesen, ist der Test ein chaotisches Collage aus dichten Lehrbüchern, komplexen Diagrammen, hingekritzelten Formeln und Tabellen in sechs verschiedenen Sprachen. Ihre Aufgabe ist es, diesen visuellen Wirrwarr zu betrachten und schwierige Fragen dazu zu beantworten. Dies ist die Welt des „Multimodalen Schließens“ (Multimodal Reasoning), ein Bereich, in dem Computer versuchen, wie menschliche Studenten zu agieren, die sowohl ein Bild „sehen“ als auch den Text darin „lesen“ können. Lange Zeit war die große Frage: „Wie intelligent muss das Gehirn des Computers sein, um zu bestehen?“ Aber es gibt einen Haken. Selbst wenn ein superintelligenter Computer die Mathematik und die Naturwissenschaften perfekt versteht, kann er den Test trotzdem nicht bestehen, wenn er zu viel redet, die falsche Sprache verwendet oder seine Antwort in einem unordentlichen Format schreibt, das die Bewertungsmaschine des Lehrers nicht lesen kann. Es ist, als hätte man einen genialen Studenten, der einen brillanten Essay schreibt, aber vergisst, seinen Namen in die Zeile zu schreiben, weshalb er eine Null bekommt.

Dieses Paper erzählt die Geschichte eines Teams aus Deutschland (FAU), das an einem Wettbewerb namens ImageCLEF 2026 teilgenommen hat, um genau dieses Problem zu lösen. Sie haben nicht nur ein klügeres Gehirn gebaut; sie haben einen strengeren Lehrer gebaut. Ihre wichtigste Entdeckung war, dass die Art und Weise, wie man den Computer bittet zu antworten, genauso wichtig ist wie der Computer selbst. Sie fanden heraus, dass es für Multiple-Choice-Fragen besser ist, den Computer daran zu hindern, eine Antwort zu „schreiben“, und stattdessen die Optionen wie ein Richter „bewerten“ zu lassen. Für offene Fragen lernten sie, dass der Computer gezwungen werden muss, kurz und sauber zu sein, indem er all sein „Lautes Denken“ vor der Abgabe des Endergebnisses abstreift. Sie probierten auch einige populäre Tricks aus, wie etwa dem Computer ein Referenzblatt mit Text (OCR) zu geben oder ihm Neues beizubringen (Fine-Tuning), aber überraschenderweise machten diese Tricks den Computer sogar schlechter. Indem sie sich auf strikte Regeln und das Bereinigen der Antworten konzentrierten, stieg ihr System auf der Bestenliste nach oben und bewies, dass ein wenig Ingenieursdisziplin einen leistungsstarken, aber unordentlichen KI-Agenten in einen zuverlässigen Prüfling verwandeln kann.

Die Herausforderung: Die visuelle Prüfung

Der Wettbewerb hatte zwei Haupttypen von Fragen. Der erste war Visuelle Multiple-Choice-Fragen (Visual MCQ). Stellen Sie sich eine Biologiefrage auf Bulgarisch mit einer Datentabelle und fünf Optionen vor, die mit A bis E beschriftet sind. Der Computer muss den richtigen Buchstaben auswählen. Der zweite Typ war Visuelle Offene Beantwortung (Visual OpenQA). Hier gibt es keine Optionen. Der Computer muss sich ein Diagramm ansehen (vielleicht ein Wirtschaftsdiagramm) und eine kurze, direkte Antwort in derselben Sprache wie die Frage schreiben.

Das Schwierige daran ist, dass diese Bilder voller „dichter“ Informationen sind. Es sind nicht nur Bilder von Katzen; es sind Seiten wissenschaftlicher Arbeiten mit Formeln, Einheiten und winzigem Text. Wenn der Computer durch das Layout verwirrt wird oder eine lange Erklärung schreibt, wenn eigentlich nur eine Zahl benötigt wird, verliert er Punkte.

Die Strategie: Der „Score, nicht Schreiben“-Trick

Für den Multiple-Choice-Teil erkannten die Teammitglieder, dass es gefährlich war, den Computer einen Satz wie „Die Antwort ist A, weil...“ schreiben zu lassen. Der Computer könnte zwar den richtigen Buchstaben wählen, ihn aber in zu viel zusätzlichem Text einbetten, was das Bewertungssystem verwirrt.

Stattdessen änderten sie das Spiel. Sie baten den Computer, sich die Optionen A, B, C, D und E anzusehen und jeder Option einfach einen „Score“ zuzuweisen, basierend darauf, wie wahrscheinlich es ist, dass sie korrekt ist. Denken Sie an einen Sportrichter, der einer Turnroutine eine 9,5 gibt, anstatt einen Absatz darüber zu schreiben. Der Computer musste keinen Text generieren; er musste nur berechnen, welcher Buchstabe den höchsten Score hat. Dies machte die Antworten unglaublich sauber und leicht kombinierbar. Wenn sie den Test mit drei verschiedenen Computergehirnen durchführten, konnten sie die Scores aller drei nehmen, sie mitteln und den Gewinner auswählen. Diese „Score-Fusion“ half ihnen, eine sehr hohe Genauigkeit von 0,7108 zu erreichen, womit sie den dritten Platz insgesamt belegten.

Die Aufräumcrew: Die gesprächige KI bändigen

Für die offenen Fragen war das Problem genau umgekehrt. Die Computer waren zu gesprächig. Sie liebten es, ihre Argumentation zu erklären, sagten „Hier ist die Antwort“ oder verwendeten schicke XML-Tags wie <answer>. Das Bewertungssystem hingegen wollte nur die reine Antwort.

Das Team behandelte dies wie einen strengen Editor. Sie verwendeten einen „konzisen Prompt“, der dem Computer sagte: „Hör auf, laut zu denken. Gib mir einfach die Antwort.“ Dann ließen sie die Antworten durch eine „Aufräumcrew“ (einen Satz von Regeln) laufen, die alle zusätzlichen Wörter, Denkprozesse oder Formatierungsfehler löschte. Sie kombinierten auch die Antworten mehrerer verschiedener Computermodelle. Wenn ein Modell „50 kg“ sagte und ein anderes „50 Kilogramm“, fand das System heraus, dass sie dasselbe bedeuteten, und wählte das beste aus. Diese sorgfältige Reinigung und Kombination half ihnen, den ersten Platz in der Kategorie der offenen Fragen mit einem Wert von 0,6488 (gemessen an einer Metrik namens COMET) zu gewinnen.

Die überraschenden „Don'ts“: Was nicht funktionierte

Das Team probierte zwei Dinge aus, von denen viele glauben, dass sie helfen würden, die jedoch die Ergebnisse tatsächlich verschlechterten.

1. Das Referenzblatt (OCR): Sie versuchten, dem Computer ein Texttranskript des Bildes (unter Verwendung eines OCR-Tools) zu füttern, um ihm beim Lesen des Textes zu helfen. Aber das ging nach hinten los. Das Transkript enthielt oft Tippfehler, fehlerhafte Formeln oder eine falsche Wortreihenfolge. Es war, als würde man einem Studenten ein Referenzblatt geben, das voller Fehler ist; es verwirrte den Computer mehr als das Bild selbst.
2. Der Intensivkurs (Fine-Tuning): Sie versuchten, den Computer speziell mit den Prüfungsfragen mittels einer Methode namens LoRA Fine-Tuning zu „lehren“. Sie dachten, dies würde den Computer zum Experten machen. Stattdessen wurde der Computer schlechter. Das Paper legt nahe, dass der Computer bereits klug genug war, um die Bilder zu lesen, und dass der Versuch, ihn auf einem kleinen, unordentlichen Datensatz neu zu trainieren, seine natürlichen Fähigkeiten eher störte.

Das Fazit

Die große Lektion dieses Papers handelt nicht von der Erfindung eines neuen, superintelligenten Gehirns. Es geht um Inference Engineering – was vereinfacht gesagt bedeutet: „Wie wir den Computer bitten, seine Arbeit zu tun“. Die Autoren fanden heraus, dass ein leistungsstarker Computer, wenn er strikte Regeln, saubere Eingaben und einen guten Bereinigungsprozess erhält, einen etwas intelligenteren Computer übertreffen kann, dem erlaubt wird, unordentlich zu sein.

Sie zeigten, dass man die KI nicht immer größer machen oder härter trainieren muss. Manchmal muss man ihr nur sagen, dass sie den Mund halten, den richtigen Buchstaben wählen und ein sauberes Antwortblatt abgeben soll. Durch die Konzentration auf diese praktischen Details verwandelten sie starke Vision-Language-Modelle in zuverlässige Wettbewerbssieger und bewiesen, dass es manchmal am besten ist, den Output zu managen, anstatt nur den Motor aufzurüsten.