Logics-Parsing-Omni Technical Report

Dit paper introduceert het Omni Parsing-framework en het bijbehorende Logics-Parsing-Omni-model, die een gestructureerde, bewijsgebaseerde aanpak bieden om fragmentarische multimodale data (documenten, afbeeldingen en audio-visuele streams) om te zetten in traceerbare, machine-leesbare kennis.

De kern

🌍 De "Alles-Lezer": Logics-Parsing-Omni

Stel je voor dat je een enorme bibliotheek hebt, maar de boeken zijn niet in woorden geschreven. Ze bestaan uit foto's, geluiden, video's, handgeschreven notities en ingewikkelde grafieken. Tot nu toe konden computers deze "boeken" maar half lezen. Ze konden wel zien dat er tekst op een pagina stond (zoals een scanner), maar ze begrepen niet wat die tekst betekende in de context van de hele pagina, of ze konden het geluid in een video wel horen, maar niet koppelen aan wat er op dat moment op het scherm gebeurde.

Het team van Alibaba heeft nu een nieuwe uitvinding bedacht: Logics-Parsing-Omni.

Je kunt dit zien als een super-intelligente bibliothecaris die niet alleen kijkt, maar ook luistert, nadenkt en alles in een perfect georganiseerd archief zet.

1. Het Probleem: Een rommelige zolder

Vroeger waren computerprogramma's gespecialiseerd in één ding:

• Sommigen waren goed in het lezen van tekst (OCR), maar zagen geen plaatjes.
• Anderen konden een filmpje beschrijven ("een man loopt"), maar zagen niet dat hij een specifiek logo op zijn shirt droeg of dat de camera langzaam inzoomde.
• Bij video's luisterden ze alleen naar wat mensen zeiden, maar negeerden ze achtergrondgeluiden (zoals een sirene) of de sfeer.

Het resultaat? Een rommelige zolder waar informatie versnipperd ligt. Je kunt niet snel vinden wat je zoekt, en je mist de diepere betekenis.

2. De Oplossing: De "Omni Parsing" Methode

De auteurs hebben een nieuw systeem bedacht dat alles in één keer doet. Ze noemen dit Omni Parsing.

Stel je voor dat je een ingewikkeld LEGO-gebouw hebt.

• Oude manier: Je telt alleen het aantal rode blokken (dat is de tekst) en je zegt "het is een huis".
• Nieuwe manier (Omni Parsing): De computer doet drie dingen tegelijk, stap voor stap:
  1. Het Kijken (Detectie): "Ik zie een rood blokje op coördinaat X, Y." (Precies weten waar iets is).
  2. Het Herkennen (Erkenning): "Dat rood blokje is een dakpan, en hierop staat 'Sinterklaas' geschreven." (Wat is het precies?).
  3. Het Denken (Interpretatie): "Omdat er een dak is en 'Sinterklaas' op staat, is dit een huis voor Sinterklaas, en het verhaal gaat over zijn aankomst." (De logica begrijpen).

Het mooie is: de computer koppelt elke gedachte direct aan het bewijs. Als hij zegt "dit is een huis", wijst hij precies naar de plek in de afbeelding of video waar dat huis te zien is. Geen gissen, geen hallucinaties.

3. Hoe hebben ze dit gebouwd? (De Twee-Fase Training)

Om deze "super-bibliothecaris" te trainen, hebben ze twee fases gebruikt:

• Fase 1: De Brede Kennis (De Ontdekkingsreis)
  Ze hebben de computer eerst laten kijken naar 16 miljoen voorbeelden. Denk aan een kind dat eerst alle soorten dieren, auto's en gebouwen moet leren herkennen. Het leert de basis: "Dit is een tekst, dit is een geluid, dit is een beweging."
• Fase 2: De Specifieke Vaardigheid (De Meesterklas)
  Daarna kregen ze 5 miljoen zeer moeilijke en nauwkeurige voorbeelden. Hier leerden ze de computer niet alleen te kijken, maar ook te redeneren. Ze leerden hem: "Als je dit geluid hoort en dit plaatje ziet, dan betekent dit dat er een ongeluk is gebeurd." Ze leerden hem ook om alles in een strakke, digitale lijst (JSON) te zetten, zodat andere computers het makkelijk kunnen gebruiken.

4. Wat kan het nu? (De Krachtproeven)

Het team heeft een test gemaakt genaamd OmniParsingBench. Het is alsof ze de computer een examen hebben laten doen in verschillende vakken:

• Documenten: Het kan een pagina met een tabel, een formule en een tekening lezen en alles in één logisch verhaal omzetten.
• Afbeeldingen: Het ziet het verschil tussen twee bijna identieke foto's (bijvoorbeeld: "In de tweede foto is de hoed van de man weggehaald") en kan precies aangeven waar dat verschil zit.
• Audio & Video: Het luistert niet alleen naar wat mensen zeggen, maar ook naar achtergrondgeluiden (zoals "het regent") en kijkt naar camerabewegingen (zoals "de camera zwaait naar links"). Het koppelt dit allemaal aan elkaar.
• Onderwijsvideo's: Het kan een lang college van 30 minuten bekijken en er een perfect gestructureerd samenvatting van maken, inclusief de formules die aan het bord werden geschreven en de belangrijkste lessen.

5. Waarom is dit belangrijk?

Vroeger moest je zelf zoeken door duizenden video's of documenten om iets te vinden. Met dit systeem wordt ongestructureerde rommel (zoals een video van een les) omgezet in een zoekbare, betrouwbare database.

• Voorbeeld: Als je vraagt: "Toonde de docent in de video van 10:00 een formule over kwadratische vergelijkingen?", kan het systeem niet alleen zeggen "Ja", maar ook direct naar dat moment in de video springen en de formule tonen.

Conclusie

Logics-Parsing-Omni is als het geven van een bril aan een computer die tot nu toe slechts halfblind was. Het combineert het zien (pixels), het horen (geluid) en het denken (logica) tot één krachtige vaardigheid. Het zorgt ervoor dat computers niet alleen "kijken", maar echt "begrijpen" wat er gebeurt, en dat ze hun antwoorden altijd kunnen onderbouwen met bewijs.

Dit opent de deur voor slimme zoekmachines, betere onderwijsapps en systemen die echt kunnen helpen bij complexe taken, zonder dat we ons zorgen hoeven te maken over fouten of verzonnen feiten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het rapport "Logics-Parsing-Omni" in het Nederlands:

Technische Samenvatting: Logics-Parsing-Omni

1. Het Probleem
Multimodale Large Language Models (MLLM's) hebben indrukwekkende algemene vaardigheden getoond, maar worstelen nog steeds met kennisintensieve domeinen zoals visueel rijke documenten en langdurige educatieve video's. Bestaande benaderingen kampen met fundamentele beperkingen:

• Fragmentatie: Traditionele pipelines voor documenten (zoals OCR) zijn goed in lay-outanalyse, maar halen de semantische waarde uit complexe grafieken en diagrammen (bijv. trends, causale relaties) weg.
• Heterogeniteit: Algemene beeldmodellen neigen naar hallucinaties of generieke beschrijvingen, waardoor ze de dichte, attributenrijke informatie missen die nodig is voor complex redeneren.
• Audio-Visuele Tekortkomingen: Bestaande systemen behandelen audio vaak slechts als teksttranscriptie (ASR), waardoor niet-spraakgeluiden (emotionele cues, achtergrondgeluid) en visuele context (zoals dia's) worden genegeerd.
• Gebrek aan Structuur: Er is een kritiek tekort aan systemen die fijne, betrouwbare parsing combineren met semantisch begrip om een eenheid te creëren die lokaal vindbaar, telbaar en traceerbaar is.

2. Methodologie: Het Omni Parsing Framework
Het paper introduceert het Omni Parsing framework, dat een unificatie van perceptie (pixel/signaalniveau) en cognitie (logisch redeneren) nastreeft via een progressief paradigma. Dit wordt geïmplementeerd in drie hiërarchische niveaus:

• L1: Holistische Detectie (Holistische Detectie):
  • Realiseert nauwkeurige ruimtelijk-temporele verankering (grounding) van objecten of gebeurtenissen.
  • Stelt een geometrische basislijn vast voor perceptie.
• L2: Gedetailleerde Herkenning (Fine-grained Recognition):
  • Voert symbolisatie uit (bijv. OCR, ASR) en attribuutextractie op gelokaliseerde objecten.
  • Voltooit de gestructureerde entiteitsparsing.
• L3: Meer-niveau Interpretatie (Multi-level Interpreting):
  • Construeert een redeneerketen van lokale semantiek naar globale logica.
  • Kernmechanisme: Een "evidence anchoring" (evidence-verankering) mechanisme dat een strikte uitlijning afdwingt tussen hoge-niveau semantische beschrijvingen en lage-niveau feiten. Dit zorgt voor "evidence-based" logische induktie.

Data en Training:

• Dataset: Er is een gestandaardiseerde, hoogwaardige corpus gebouwd die documenten, afbeeldingen, audio en video omvat. Deze bevat 16 miljoen samples voor de eerste fase (basisvaardigheden) en 5 miljoen hoogwaardige instructies voor de tweede fase (diep redeneren).
  • Specifieke verbeteringen: Voor video's zijn annotaties geoptimaliseerd voor shot-analyse en camera-bewegingen. Voor afbeeldingen is kennisverrijking toegevoegd voor entiteiten zoals landmerken en merken.
• Twee-fasen Training:
  1. Panoramische Cognitieve Basis: Full-parameter SFT op grote schaal (16M samples) om brede visuele kennis en atomaire vaardigheden op te bouwen zonder complexe redenering.
  2. Unificatie en Uitgelijnde Instructie: Fijnafstemming op een gebalanceerde dataset (5M samples) om de overgang van perceptie naar cognitie te perfectioneren en de output te standaardiseren naar JSON-formaat.

3. Belangrijkste Bijdragen

• Unificatie Framework: Het voorstellen van een unificatie taxonomie die perceptie en cognitie integreert over documenten, afbeeldingen en audio-visuele streams via het drie-niveau progressieve paradigma.
• Data & Methodologie: De constructie van een gestandaardiseerde dataset die kennisintensieve afbeeldingen en structurele video-analyse combineert, waardoor het model zowel complexe statische entiteiten als dynamische narratieve logica kan beheersen.
• Model & Benchmark: De release van Logics-Parsing-Omni (een geavanceerde MLLM) en OmniParsingBench, een uitgebreide benchmark voor de kwantitatieve evaluatie van fijne parsing-vaardigheden.

4. Resultaten
Het model werd geëvalueerd op OmniParsingBench, dat zes domeinen bestrijkt: Documenten, Natuurlijke Afbeeldingen, Grafieken, Audio, Natuurlijke Video en Tekstrijke Video.

• Algemene Prestaties: Logics-Parsing-Omni behaalt state-of-the-art (SOTA) resultaten in het Grafieken en Audio domein, en presteert beter dan alle andere open-weight modellen in Tekstrijke Video.
• Vergelijking met Concurrenten:
  • Het model overtreft de proprietary Gemini-3-Pro in het Grafieken domein (Cognitie-score: 92.19 vs 87.98) en Audio domein.
  • Het presteert aanzienlijk beter dan de Qwen-serie (bijv. Qwen3-Omni-30B-A3B) in bijna alle metrieken.
  • In Tekstrijke Video (educatieve content) behaalt het een totale score van 66.78%, wat een grote verbetering is ten opzichte van baselines en de kloof met commerciële systemen verkleint.
• Ablatie Studies: Experimenten tonen aan dat het trainen alleen met tekstuele beschrijvingen (captions) de redeneerprestaties zelfs kan verslechteren. Alleen het integreren van gestructureerde, fijne parsing-data (zoals HTML-tabellen voor grafieken en topologische relaties voor geometrie) leidt tot een enorme sprong in logisch redeneren (bijv. +22.83 punten in logisch redeneren voor grafieken).

5. Betekenis en Impact
Dit werk is significant omdat het de kloof tussen ruwe multimodale signalen en machine-leesbare, gestructureerde kennis overbrugt.

• Vertrouwbaarheid: Door het "evidence anchoring" mechanisme worden hallucinaties geminimaliseerd; elke semantische conclusie is terug te voeren op een specifiek, gelokaliseerd bewijs in de input.
• Toepassingsmogelijkheden: De output is direct bruikbaar voor geavanceerde downstream taken zoals Retrieval-Augmented Generation (RAG), geautomatiseerd documentbeheer, intelligente tutoring en complexe vraag-antwoord systemen.
• Open Source: De beschikbaarheid van het model, de dataset en de benchmark (OmniParsingBench) biedt de gemeenschap een robuuste infrastructuur voor verdere ontwikkeling in kennisintensieve AI-systemen.

Kortom, Logics-Parsing-Omni bewijst dat een progressieve aanpak, waarbij eerst de structuur en feiten worden vastgelegd voordat er wordt geredeneerd, essentieel is voor betrouwbare, diepgaande multimodale intelligentie.