Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping

Die Arbeit stellt Venus vor, ein zweistufiges Framework, das auf dem neu eingeführten AesGuide-Datensatz aufbaut, um multimodale Large Language Models durch ästhetische Anleitungsfähigkeiten zu stärken und damit sowohl proaktive fotografische Beratung als auch den state-of-the-art ästhetischen Zuschnitt von Bildern zu ermöglichen.

Das Wesentliche

Stell dir vor, du hältst dein Smartphone in der Hand und machst ein Foto von einem wunderschönen alten Gebäude oder einem Sonnenuntergang. Du bist stolz auf das Bild, aber es fehlt etwas. Es wirkt nicht „professionell". Vielleicht ist der Himmel zu leer, das Motiv ist schief oder es gibt zu viele störende Dinge im Hintergrund.

Ein professioneller Fotograf würde dir sofort sagen: „Mach einen Schritt nach links, neige die Kamera ein bisschen und warte, bis die Wolke genau dort ist." Aber die meisten von uns haben keinen Fotografen im Kopf.

Genau hier kommt Venus ins Spiel – ein neues KI-System, das von Forschern der Peking-Universität entwickelt wurde. Man kann sich Venus wie einen digitalen Fotolehrer vorstellen, der nicht nur schaut, sondern dir auch sagt, wie du das Bild verbessern kannst.

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar anschaulichen Vergleichen:

1. Das Problem: Die „Ja-Sager"-KI

Bisher waren die meisten KI-Modelle (wie GPT-4o) bei Fotos eher wie ein übertrieben höflicher Freund. Wenn du ihm ein schlechtes Foto zeigst, sagt er: „Wow, tolle Farben! Sehr schön!" Er findet keine Fehler und gibt dir keinen echten Rat. Er ist ein „Ja-Sager", der nicht helfen kann, das Bild wirklich zu verbessern.

2. Die Lösung: Ein neuer Lehrer namens „AesGuide"

Die Forscher haben gemerkt, dass es an Daten fehlt. Also haben sie AesGuide geschaffen. Stell dir das wie ein riesiges Lehrbuch für Fotografie vor, das mit 10.000 echten Fotos gefüllt ist.

• Bei jedem Foto steht nicht nur „schön" oder „hässlich" dabei.
• Es gibt eine Bewertung (wie bei einer Schulnote).
• Es gibt eine Analyse (Warum ist das Bild gut oder schlecht?).
• Und das Wichtigste: Es gibt konkrete Anweisungen (z. B. „Schneide den linken Rand ab" oder „Mach das Foto aus einer tieferen Perspektive").

Dieses Lehrbuch wurde von echten Fotoprofis geprüft, damit die Ratschläge wirklich gut sind.

3. Wie Venus lernt: Zwei Schritte zum Erfolg

Venus ist wie ein Schüler, der dieses Lehrbuch in zwei Phasen lernt:

Schritt 1: Der Fotograf wird zum Kritiker (Aesthetic Guidance)
Zuerst lernt die KI, ein Foto nicht nur anzusehen, sondern es zu kritisch zu analysieren. Sie lernt, Fehler zu erkennen (wie ein strenger Lehrer) und konkrete Tipps zu geben.

• Vergleich: Früher sagte die KI nur „Gute Arbeit!". Jetzt sagt sie: „Der Himmel ist zu leer, schneide ihn weg, damit das Gebäude besser zur Geltung kommt."
• Das Ziel ist, dass die KI versteht, warum ein Bild funktioniert und wie man es verbessert.

Schritt 2: Der Fotograf wird zum Bildhauer (Aesthetic Cropping)
In der zweiten Phase lernt die KI, das Bild tatsächlich zu zuschneiden (zu „croppen"). Aber sie macht das nicht blind.

• Sie nutzt eine Technik namens CoT (Chain of Thought). Das ist wie ein Gedankengang. Bevor die KI das Bild zuschneidet, denkt sie laut nach: „Ich schneide hier ab, weil der Baumstamm den Blick stört, und ich rücke das Motiv in die Mitte, um die Symmetrie zu betonen."
• Vergleich: Ein normaler Bildschneider schneidet einfach irgendwo hin. Venus schneidet wie ein Künstler, der genau weiß, wo der Fokus liegen muss, und kann dir sogar erklären, warum er genau diese Stelle gewählt hat.

4. Warum ist das so besonders?

Das Besondere an Venus ist die Interaktion.

• Erklärbar: Du kannst die KI fragen: „Warum hast du das Bild so zugeschnitten?" und sie gibt dir eine logische Antwort, keine vage Ausrede.
• Anpassbar: Du kannst sagen: „Ich mag den Hintergrund nicht, schneide ihn weg." Die KI versteht deinen Wunsch und passt das Bild an.
• Besser als die Konkurrenz: In Tests hat Venus deutlich besser abgeschnitten als andere KIs oder spezialisierte Programme. Sie schneidet Bilder so, dass sie ästhetisch ansprechender sind, und erklärt dabei, warum.

Zusammenfassung

Stell dir Venus vor wie einen persönlichen Fototrainer in deiner Tasche.

1. Er zeigt dir, was an deinem Foto schief läuft (nicht nur „schön", sondern ehrlich).
2. Er gibt dir Tipps, wie du das nächste Foto besser machst.
3. Er kann dein aktuelles Foto so zuschneiden, dass es wie ein Meisterwerk aussieht, und erklärt dir dabei jeden Schritt.

Mit Venus schließen die Forscher die Lücke zwischen dem, was ein normaler Handyfotograf macht, und dem, was ein Profi kann. Sie machen aus jedem Nutzer einen besseren Fotografen.

Technische Zusammenfassung

1. Problemstellung

Die weit verbreitete Nutzung von Smartphones hat die Fotografie demokratisiert, doch es besteht weiterhin eine große Lücke zwischen Laien und professionellen Fotografen. Während Profis ästhetische Mängel (z. B. unausgewogene Komposition, falsche Beleuchtung) erkennen und konkrete Handlungsempfehlungen geben können, fehlt diese Fähigkeit aktuellen Multimodalen Large Language Models (MLLMs).

Die Hauptprobleme sind:

• Fehlende „Aesthetic Guidance" (AG): Bestehende MLLMs (sowohl allgemeine wie GPT-4o als auch ästhetik-spezifische wie AesExpert) neigen zu übermäßig positiver Rückmeldung („Flattery"), identifizieren keine echten Probleme und geben keine umsetzbaren Ratschläge für das Fotografieren.
• Ineffektives „Aesthetic Cropping": Ohne die Fähigkeit zur ästhetischen Analyse können Modelle keine störenden Bereiche identifizieren oder die Komposition optimieren. Spezialisierte Cropping-Modelle sind oft klein, nicht interpretierbar und bieten keine interaktive Anpassung an Nutzerpräferenzen.
• Datenlücke: Es gab bisher keine großen Datensätze, die explizit für die Aufgabe der ästhetischen Anleitung (Identifikation von Fehlern + konkrete Verbesserungsvorschläge) annotiert waren.

2. Methodik: Das Venus-Framework

Die Autoren stellen Venus vor, ein zweistufiges Framework, das MLLMs befähigt, sowohl ästhetische Anleitung zu geben als auch ästhetisches Cropping durchzuführen.

Schritt 1: Aufbau der Ästhetischen Anleitung (Aesthetic Guidance Capability Building)

• Datensatz AesGuide: Die Autoren stellen den ersten großen Datensatz und Benchmark für AG vor, bestehend aus 10.748 realen Fotos. Jedes Bild ist annotiert mit:
  • Ästhetischem Score.
  • Ästhetischer Analyse (Stärken/Schwächen).
  • Ästhetischer Anleitung (Fehleridentifikation + konkrete Aufnahme- oder Bearbeitungshinweise).
  • Datenerstellung: Ein „Aesthetic Guidance Generation Framework" (AGGF) nutzt MLLMs zur Vorverarbeitung von Rohkommentaren, gefolgt von einer strengen Validierung durch 20 menschliche Experten (Fotografen, Blogger, Annotatoren).
• Training: MLLMs werden mittels Supervised Instruction Fine-Tuning auf AesGuide trainiert. Das Training folgt einem progressiven Ansatz, der menschliches ästhetisches Denken nachahmt: Von der allgemeinen Eindrucksbildung über die detaillierte Analyse bis hin zu konkreten Handlungsempfehlungen.
• Ziel: Das Modell lernt, nicht nur zu beschreiben, sondern kritisch zu analysieren und konstruktive Kritik zu üben.

Schritt 2: Aktivierung der Cropping-Leistung (Aesthetic Cropping Power Activation)

• Chain-of-Thought (CoT) Rationale: Um die Cropping-Fähigkeit zu aktivieren, nutzt Venus keine bloßen Koordinaten, sondern generiert ästhetische Begründungen (Aesthetic Rationales, AR) für jede Cropping-Entscheidung.
• Prozess:
  1. AR-Generation: Ein MLLM (GPT-4o) erklärt, warum ein bestimmter Ausschnitt (gut oder schlecht) ästhetisch funktioniert.
  2. AR-Validation: Ein zweites MLLM (Qwen2.5-VL-72B) validiert die Logik und Konsistenz der Begründung.
• Training: Das in Schritt 1 feinabgestimmte Modell wird weiter trainiert, um sowohl den Cropping-Bounding-Box als auch die dazugehörige rationale Erklärung vorherzusagen. Dies verankert räumliche Entscheidungen in ästhetischer Logik.

3. Schlüsselbeiträge

1. Definition von Aesthetic Guidance (AG): Die formale Definition und Abgrenzung dieses bisher vernachlässigten Bereichs, der subjektives ästhetisches Verständnis mit objektiven, handlungsorientierten Anpassungen verbindet.
2. AesGuide Benchmark: Der erste große Datensatz und Benchmark für AG mit Scores, Analysen und Guidance, ergänzt durch drei Evaluationsmetriken (Vollständigkeit, Präzision, Relevanz) und Expertenbewertungen.
3. Venus-Framework: Ein innovativer zweistufiger Ansatz, der MLLMs erst durch progressive Fragen zur AG befähigt und diese Fähigkeit dann nutzt, um durch CoT-basierte Rationales präzises und erklärbares Cropping zu ermöglichen.
4. State-of-the-Art (SOTA) Ergebnisse: Nachweis, dass Venus sowohl in der AG-Aufgabe als auch beim ästhetischen Cropping die bisher besten Ergebnisse erzielt.

4. Ergebnisse

• Aesthetic Guidance (AesGuide Benchmark):
  • Alle fünf getesteten Venus-Varianten (basierend auf verschiedenen Open-Source-MLLMs wie Qwen, InternVL, LLaVA) übertreffen sowohl proprietäre Modelle (GPT-4o, Gemini) als auch spezialisierte ästhetische Modelle (AesExpert, UNIAA) signifikant in den Metriken Vollständigkeit, Präzision und Relevanz.
  • Die von GPT unterstützte Bewertung korreliert stark mit den Bewertungen menschlicher Experten.
• Aesthetic Cropping (FLMS Benchmark):
  • Venus-Q erreicht einen IoU (Intersection over Union) von 87,01%, was einen neuen SOTA-Wert darstellt (+1,50% gegenüber dem vorherigen SOTA und +15,4% gegenüber GPT-4o).
  • Im Gegensatz zu spezialisierten Modellen, die zwar präzise, aber nicht interpretierbar sind, bietet Venus-Q hohe Interpretierbarkeit und Interaktivität. Es kann auf natürliche Sprachanfragen (z. B. „Fokus auf den Himmel, keine Boote") reagieren und die Gründe für seine Cropping-Entscheidungen erklären.
• Ablationsstudien:
  • Der progressive Aufbau der AG-Fähigkeit ist essenziell; ohne die analytische Phase sinkt die Leistung.
  • Die Vorab-Training auf AesGuide (AG) ist kritisch für das Cropping; Modelle ohne diesen Schritt schneiden schlechter ab.
  • Die CoT-Rationale (Generierung und Validierung) ist entscheidend für die Stabilität und Genauigkeit des Croppings.

5. Bedeutung und Ausblick

Die Arbeit markiert einen Paradigmenwechsel in der computergestützten Ästhetik: weg von passiver Bewertung hin zu aktiver, handlungsorientierter und menschenähnlicher Verbesserung.

• Praktische Anwendung: Venus ermöglicht es Nutzern, nicht nur zu verstehen, warum ein Foto schlecht ist, sondern wie man es beim nächsten Mal besser aufnehmen oder nachträglich optimieren kann.
• Interaktivität: Durch die Fähigkeit, auf Nutzerfeedback zu reagieren (z. B. „Ich mag den Hintergrund nicht"), übertrifft Venus starre, vordefinierte Cropping-Algorithmen.
• Zukunft: Das Framework legt den Grundstein für KI-Assistenten, die als virtuelle Fotografen agieren und den kreativen Prozess von der Aufnahme bis zur Nachbearbeitung begleiten.

Der Code und der Datensatz sind unter https://github.com/PKU-ICST-MIPL/Venus verfügbar und wurden für CVPR 2026 eingereicht.