RPTS: Tree-Structured Reasoning Process Scoring for Faithful Multimodal Evaluation

Probleemstelling

Grote Visueel-Taalmodellen (LVLM's) presteren indrukwekkend op diverse multimodale benchmarks, maar de huidige evaluatiemethoden hebben ernstige tekortkomingen:

1. Focus op eindantwoord: De meeste benchmarks (zoals meerkeuzevragen of korte antwoorden) evalueren alleen of het eindantwoord correct is. Ze negeren het redeneerproces. Dit leidt tot het fenomeen "juiste antwoorden om de verkeerde redenen" (right answers for wrong reasons), waarbij een model een foutieve redenering gebruikt maar per ongeluk het juiste antwoord vindt.
2. Vereenvoudigde evaluatie: Bestaande methoden die wel het redeneerproces evalueren, gebruiken vaak lineaire frameworks. Dit is onvoldoende voor de complexe, niet-lineaire aard van multimodaal redeneren, waar bewijsmateriaal uit verschillende modaliteiten (beeld en tekst) soms tegenstrijdig kan zijn maar toch tot een geldige conclusie leidt.
3. Gebrek aan intermodale analyse: Er is weinig aandacht voor hoe de interactie tussen verschillende modaliteiten (bijv. hoe een tekst een beeld interpreteert of beïnvloedt) het redeneerproces beïnvloedt.

Methodologie

De auteurs introduceren een nieuwe aanpak bestaande uit een nieuwe metriek en een nieuw dataset-benchmark.

1. De Metriek: Reasoning Process Tree Score (RPTS)

RPTS is een boomgestructureerde metriek die het redeneerproces niet als een lineaire keten, maar als een hiërarchische boom modelleert.

• Structuur:
  • Leaf nodes (Bladknopen): Vertegenwoordigen atomische bewijsstukken (visuele aanwijzingen, tekstuele aanwijzingen of context).
  • Non-leaf nodes (Niet-bladknopen): Vertegenwoordigen tussenstappen in de inferentie (conclusies getrokken uit de leaf nodes of eerdere stappen).
• Berekening:
  • Elk redeneerstap wordt gescoord op logica en coherentie (0 tot 1) met behulp van een LLM-scorer (in dit geval GPT-4).
  • De score wordt gewogen op basis van de positie in de boom. De formule voor de gewicht $w_i$ van een knoop $n_i$ is:
    $$w_i = \lambda^{|h_f - h|}$$
    Waarbij $h$ de hoogte van de knoop is (afstand tot de bladknopen) en $h_f$ een hyperparameter is die de stap aangeeft waarop de focus ligt. $\lambda$ is een verval-factor.
  • De uiteindelijke RPTS-score is het gewogen gemiddelde van alle stapscores. Door $h_f$ en $\lambda$ aan te passen, kunnen onderzoekers de nadruk leggen op globale consistentie of lokale fouten in specifieke stappen.
• Foutlokalisatie: Als een stap een lage score krijgt (< 0.5), wordt deze opnieuw geëvalueerd met alle beschikbare aanwijzingen als nieuwe premissen, waarbij een straf wordt toegepast voor incorrecte premissen. Dit helpt om te onderscheiden tussen een correcte conclusie met een gebrekkige basis en een logisch valide proces.

2. De Benchmark: RPTS-Eval

Om RPTS te valideren, hebben de auteurs een nieuwe dataset samengesteld:

• Omvang: 390 redeneerinstanties gebaseerd op 374 afbeeldingen.
• Opbouw: Elke instantie is een "multimodaal verhaal" met betrouwbare visuele en tekstuele aanwijzingen die dienen als bladknopen.
• Intermodale Relaties: De dataset classificeert de relatie tussen modaliteiten in drie types:
  1. Guided (Gestuurd): Informatie uit de ene modaliteit bepaalt welke informatie uit de andere moet worden gehaald (expliciet of impliciet).
  2. Adversarial (Adversariaal): De ene modaliteit beïnvloedt de andere negatief (bijv. afleidende informatie of tegenstrijdige bewijzen).
  3. Independent (Onafhankelijk): Modaliteiten beïnvloeden elkaar niet; informatie moet apart worden verzameld.
• Kwaliteitscontrole: Data wordt handmatig gecontroleerd op logische consistentie, multimodaliteit en subjectiviteit.

Belangrijkste Bijdragen

1. Nieuwe Metriek (RPTS): Een boomgestructureerde score die zowel de globale als lokale logica van het redeneerproces evalueert en in staat is om "juiste antwoorden met foutieve redenering" te detecteren en te lokaliseren.
2. Nieuwe Benchmark (RPTS-Eval): Een dataset met betrouwbare, handmatig geannoteerde atomische bewijsstukken en een classificatie van intermodale relaties (Guided, Adversarial, Independent).
3. Definitie van Relaties: Een gestructureerde classificatie van hoe modaliteiten in redeneertaken met elkaar interageren.
4. Uitgebreide Evaluatie: Een gedetailleerde analyse van state-of-the-art LVLM's (zowel open-source als gesloten, zoals GPT-4o) die hun beperkingen blootlegt.

Resultaten en Analyse

De auteurs hebben diverse modellen getest (o.a. Llava-Next, InternVL2, Qwen-VL, GPT-4o) in zowel het Engels als het Chinees.

• Prestatieverschil: Gesloten modellen (GPT-4o) presteerden aanzienlijk beter dan open-source modellen. GPT-4o behield een hoge nauwkeurigheid zelfs na het filteren van foutieve redeneringen (kleine daling in Acc), wat wijst op robuuste logica.
• Open-source beperkingen: Open-source modellen lieten een significante daling in nauwkeurigheid zien wanneer foutieve redeneringen werden verwijderd. Vaak bereikten ze het juiste antwoord via irrelevante of logisch zwakke paden.
• Visuele Inferentie: Modellen hadden moeite om direct uit afbeeldingen de nodige informatie te halen voor verdere inferentie (lage scores bij stappen die direct uit visuele aanwijzingen voortkwamen).
• Taalverschillen: Er was een aanzienlijk prestatieverschil tussen Engels en Chinees. Modellen presteerden over het algemeen slechter in het Chinees, wat suggereert dat multimodale vaardigheden moeilijk van Engels naar andere talen worden overgedragen.
• Sensitiviteit: De analyse toonde aan dat de keuze van de hyperparameters ($h_f$ en $\lambda$) de score beïnvloedt, maar dat de methologie robuust is voor kleine variaties in $\lambda$.

Betekenis en Conclusie

Dit paper biedt een kritische stap voorwaarts in de evaluatie van multimodale modellen. Door te verschuiven van een puur antwoordgerichte evaluatie naar een procesgerichte, boomgestructureerde benadering, kunnen onderzoekers:

• Betrouwbare fouten lokaliseren in complexe redeneertaken.
• Het onderscheid maken tussen toevallige correctheid en echte logische vaardigheid.
• De specifieke beperkingen van huidige open-source modellen in kaart brengen, met name wat betreft visuele interpretatie en cross-linguale redenering.

De RPTS-metriek en de RPTS-Eval dataset vormen een fundamenteel instrument voor het ontwikkelen van toekomstige LVLM's die niet alleen het juiste antwoord geven, maar dit ook op een logisch onderbouwde en traceerbare manier doen.