Technische Samenvatting: Beyond the Eye (BEE)

1. Probleemstelling

Recente Multimodale Large Language Models (MLLM's) hebben de verfijnde perceptie geavanceerd via het "Thinking with Images" (TwI) paradigma, waarbij modellen iteratief externe visuele tools aanroepen (bijv. zoomen, croppen) om beeldregio's opnieuw te coderen. Hoewel effectief, lijdt deze aanpak aan twee kritieke beperkingen:

1. Computationele Overhead: Frequent aanroepen van externe tools en herhaaldelijke hercodering van beelden introduceren aanzienlijke inferentielatentie en I/O-bottlenecks.
2. Gebrek aan Bewustzijn van de Capaciteitsgrens: Bestaande modellen, inclusief zowel expliciete tool-gebaseerde als opkomende latente redeneerbenaderingen, hebben moeite met het adaptief bepalen wanneer ze moeten vertrouwen op interne parametrische kennis versus wanneer ze tools moeten aanroepen. Dit leidt tot redundant toolgebruik bij taken die het model al kan oplossen, wat computationele middelen verspilt zonder de nauwkeurigheid te verbeteren.

2. Methodologie: Beyond the Eye (BEE)

De auteurs stellen BEE voor, een nieuw Implicit Visual Tool (IvT) paradigma dat gecentreerd is rond zelfgereguleerde capaciteit. In plaats van externe API's aan te roepen, integreert BEE de aanroep van visuele tools direct in het trainingsdoel van het model, waarbij het leert om impliciete visuele representaties (semantische tokens) te genereren die het effect van tools simuleren binnen een enkele forward pass.

Het framework maakt gebruik van een twee-fasen trainingsproces:

Fase 1: Formalized Chain-of-Thought (CoT) Supervised Fine-Tuning (SFT)

• Doel: Het activeren van de impliciete tool-representaties, adaptieve schakelmechanismen en basisredeneervaardigheden van het model.
• Data Constructie: De auteurs construeren de BEE-SFT-320K dataset door heterogene data van Refocus, Thyme, mini-o3 en Visual-CoT te integreren.
  • Trajectory Polishing: Expliciete tool-aanroepen (gebaseerd op code) worden getransformeerd naar impliciete representaties. Een vooraf getrainde semantische tokenizer codeert hulpbeelden (bijv. ingezoomde/gecroppte weergaven) naar semantische tokens (<tool_pad>), waardoor de codefragmenten in de redeneertrajecten worden vervangen.
  • Mixed Invocation States: De dataset bevat een mix van redeneertrajecten met en zonder impliciete tool-slots. Dit begeleidt het model expliciet in het leren wanneer tools aan te roepen en wanneer te vertrouwen op interne kennis.
  • Auxiliary Alignment: Een hulp-caption voorspellings-taak wordt gebruikt om het vermogen van het model om deze nieuwe impliciete visuele tokens te begrijpen te versterken.

Fase 2: Self-Regulated Reward-Driven Alignment

• Probleemidentificatie: Analyse van het op SFT getrainde model onthult een gebrek aan bewustzijn van de capaciteitsgrens. Het model heeft de neiging om tools overmatig te gebruiken, zelfs bij taken die het intern kan oplossen.
• Net Tool Gain (NTG) Metriek: Om dit te kwantificeren, introduceren de auteurs de NTG metriek, die de marginale bijdrage van tool-aanroep aan het succes van de taak meet ($NTG = \frac{|G| - |L|}{|C_{tool}|}$), waarbij $G$ de effectieve winst is, $L$ de door de tool geïnduceerde hallucinatie, en $C_{tool}$ de set van met tools aangeroepen samples. Het SFT-model vertoonde een lage NTG (6,2%), wat wijst op significante redundantie.
• MC-Reward (Self-Regulated Confidence Calibration): Een samengestelde beloningsfunctie is ontworpen om ineffectieve tool-afhankelijkheid te bestraffen en kennisrouting aan te moedigen.
  • Dynamisch Capaciteitssignaal: Het model schat de taakcomplexiteit ($p$) in op basis van de gemiddelde nauwkeurigheid van gesamplede trajecten binnen een rollout-groep.
  • Beloningslogica:
    • Eenvoudige Taken ($p \geq \tau$): Als het model de taak zonder tools oplost, ontvangt het een hoge beloning. Als het onnodig een tool aanroept, wordt het gestraft.
    • Moeilijke Taken ($p < \tau$): Als het model tools aanroept om een moeilijke taak op te lossen, wordt het beloond. Als het faalt om tools te gebruiken wanneer dat nodig is, wordt het gestraft.
  • Implementatie: De beloning is geformuleerd met behulp van gladde, continue functies (inclusclusief cosine gating) om de trainingsstabiliteit te waarborgen, waarbij de policy wordt geoptimaliseerd via het DAPO-algoritme.

3. Belangrijkste Bijdragen

1. BEE Paradigma: Een zelfregulatie-gestuurd impliciet visueel tool-framework dat redundant toolgebruik vermijdt en de inferentielatentie vermindert door tool-gedrag te internaliseren.
2. Formalized CoT Labels & NTG Metriek: Constructie van een gespecialiseerde SFT-dataset met gemengde aanroepstatussen om adaptief schakelen te activeren, samen met de NTG-metriek om de marginale waarde van toolgebruik kwantitatief te evalueren.
3. Self-Regulated Reward Mechanisme: Een nieuw beloningsdoel (MC-Reward) dat het model in staat stelt zijn eigen cognitieve grenzen dynamisch te beoordelen, waardoor overbodige tool-aanroepen bij eenvoudige taken worden onderdrukt terwijl tools worden ingezet voor moeilijke taken.
4. Empirische Validatie: Demonstratie dat BEE state-of-the-art prestaties bereikt in verfijnde visuele perceptie, terwijl de inferentie-efficiëntie aanzienlijk wordt verbeterd ten opzichte van expliciete tool-gebaseerde en latente redeneer-baselines.

4. Experimentele Resultaten

De auteurs evalueerden BEE op meerdere benchmarks, waaronder V*, HRBench (4K/8K), MME-RealWorld, LogicVista, en POPE.

• Prestaties:
  • BEE-8B en BEE-4B overtroffen het commerciële model Kimi-K2.6 in gemiddelde nauwkeurigheid op perceptietaken.
  • BEE-8B bereikte een gemiddelde nauwkeurigheid van 75,3 op real-world begrip benchmarks, waarmee het sterkste open-source baseline (Qwen3-VL-235B) met 1,2 punten versloeg.
  • BEE presteerde consequent beter dan agentic modellen (bijv. DeepEyes, Thyme) en latente redeneermodellen (bijv. Monet, EVA) over diverse schalen.
• Efficiëntie:
  • Latentie Reductie: Onder de 8K resolutie instelling bereikte BEE een inferentieversnelling van tot wel ~86,2% vergeleken met de DeepEyes methode.
    end. Doorvoersnelheid (Throughput): BEE-7B bereikte een doorvoersnelheid van 1,61 samples/s, vergeleken met 0,07 samples/s voor DeepEyes en 0,33 samples/s voor DeepEyesV2.
  • Kosten: Operationele kosten werden verminderd van ~$6,40 (DeepEyes) naar $0,72 per 1K samples.
• Ablatie-studies:
  • Het verwijderen van impliciete tools of het vervangen ervan door betekenisloze tokens veroorzaakte consistente prestatieverminderingen, wat de noodzaak van het impliciete tool-ontwerp valideert.
  • Het MC-Reward mechanisme verbeterde de Net Tool Gain (NTG) aanzienlijk van 6,2% (BEE-Static) naar 66,0% (BEE-7B), wat de effectiviteit van het zelfregulerende mechanisme bij het verminderen van redundantie bevestigt.

5. Betekenis en Claims

Het artikel claimt dat BEE een veelbelovende richting biedt voor de ontwikkeling van impliciete tool MLLM's die sterke cognitieve capaciteit combineren met extreem lage latentie. Door een zelfgereguleerde capaciteitsgrens vast te stellen, stelt BEE modellen in staat om adaptief een balans te vinden tussen interne kennis en impliciet toolgebruik, wat fundamenteel de trade-off tussen redeneerdiepte en inferentie-efficiëntie aanpakt. De auteurs stellen dat deze aanpak de ontwikkeling van zelfgereguleerde MLLM's vooruit helpt en een schaalbaar alternatief biedt voor de zware computationele overhead van traditionele "Thinking with Images" paradigma's.