Falcon Perception

Titel: Falcon Perception: Een Unificatie van Dichte Visuele Perceptie en Taakmodellering

1. Het Probleem

Traditionele systemen voor open-vocabulaire segmentatie en OCR (Optical Character Recognition) volgen meestal een modulair encoder-decoder-pipeline:

• Een visuele backbone (encoder) haalt features uit de afbeelding.
• Een gescheiden decoder of late-fusiemodule voert de taakuitvoering uit (bijv. het voorspellen van maskers of bounding boxes).

De auteurs stellen dat deze scheiding fundamentele beperkingen met zich meebrengt:

• Het bemoeilijkt schaalbaarheid en effectieve feature-fusie tussen visie en taal.
• Het vereist taakspecifieke mechanismen (zoals query-matching of post-processing) die complexiteit toevoegen.
• Het is niet optimaal voor complexe prompts die ruimtelijke beperkingen, OCR-tekst of relationele redenering vereisen.

De centrale vraag is: Is deze architecturale scheiding noodzakelijk, of kan een enkele "early-fusion" stack zowel perceptie als taakmodelleren aan op schaal?

2. Methodologie: Falcon Perception Architectuur

Falcon Perception introduceert een unified dense Transformer die afbeeldingspatches en teksttokens verwerkt in een gedeelde parameterruimte vanaf de eerste laag.

Kernarchitecturale Innovaties:

• Hybride Attention Maskering:
  • Afbeeldingstokens: Attenderen bidirectioneel op elkaar om een globale visuele context te bouwen (vergelijkbaar met een encoder).
  • Tekst- en taaktokens: Attenderen causaal op de volledige visuele prefix en voorgaande tokens (vergelijkbaar met een decoder).
  • Dit stelt de model in staat om visuele representaties en autoregressieve taakgeneratie tegelijkertijd te leren met dezelfde gewichten.
• Chain-of-Perception (CoP):
  • In plaats van direct een masker te voorspellen, wordt de output geserialiseerd in een gestructureerde volgorde: <coord> (coördinaten) → <size> (grootte) → <seg> (segmentatie).
  • Deze "coarse-to-fine" curriculum dwingt het model om eerst de positie en grootte van een object op te lossen voordat het zich richt op pixel-level details. Dit stabiliseert het trainingproces.
• Gespecialiseerde Heads:
  • Hoewel de backbone gedeeld is, worden lichte, gespecialiseerde heads gebruikt voor de uiteindelijke output.
  • Coördinaten & Grootte: Gebruiken Fourier Features voor hoge precisie in ruimtelijke voorspellingen (om het spectrale bias-probleem van MLP's op te lossen).
  • Segmentatie: Genereert hoog-resolutie maskers parallel via een dot-product tussen de <seg> token en een ge-upsamplede visuele feature map. Dit elimineert de noodzaak voor complexe Hungarian matching of aparte query-learners.
• 3D Rotary Positional Embeddings (RoPE):
  • Combineert sequentievolgorde (voor tekst) met 2D-ruimtelijke posities (voor afbeeldingen) via een aangepaste RoPE-variant (Golden Gate RoPE) om de 2D-gridstructuur te behouden.

3. Belangrijkste Bijdragen

1. Unificatie van Architectuur: Bewijs dat een enkele early-fusion Transformer effectiever is dan traditionele encoder-decoder splits voor dichte perceptietaken, vooral bij complexe prompts.
2. PBench (Perception Benchmark):
   • Een nieuwe benchmark ontworpen om de capaciteiten van modellen te ontleden in vijf complexiteitsniveaus:
     • Level 0: Algemene objectklassen.
     • Level 1: Fijnmazige attributen.
     • Level 2: OCR-gebaseerde identificatie (tekst in de afbeelding).
     • Level 3: Ruimtelijke relaties en lay-out.
     • Level 4: Relationele binding (interacties tussen objecten).
   • Inclusief een "Crowdedness" stress-test voor lange contexten met honderden objecten per afbeelding.
3. Falcon OCR:
   • Een extensie van de architectuur naar een compact model van 300M parameters voor OCR-taken.
   • Toont aan dat dezelfde early-fusion aanpak werkt voor tekst-heavy taken, zonder de noodzaak voor enorme modellen.
4. Trainingstrategie:
   • Gebruik van Multi-Teacher Distillation (van DINOv3 en SigLIP2) voor initialisatie van de visuele features.
   • Een drie-staps trainingsrecept: In-Context Listing (wereldkennis opbouwen), Task Alignment (onafhankelijke queries leren), en Long-Context Finetuning (voor dichte scènes).

4. Resultaten

Op SA-Co Benchmark (Open-Vocabulaire Segmentatie):

• Falcon Perception bereikt een Macro-F1 van 68.0, vergeleken met 62.3 voor de state-of-the-art SAM 3.
• Het presteert vooral sterk op moeilijke splits zoals "Food & Drink" en "Sports Equipment".
• Het model is iets zwakker in "presence calibration" (het correct herkennen van afwezige objecten) vergeleken met SAM 3, maar dit wordt gecompenseerd door de superieure maskerkwaliteit.

Op PBench (Capaciteitsanalyse):

• Falcon Perception toont aanzienlijke verbeteringen bij complexe prompts:
  • +13.4 punten op Level 2 (OCR-geleid).
  • +21.9 punten op Level 3 (Ruimtelijk begrip).
  • Het overtreft veel grotere Vision-Language Models (zoals Qwen3-VL-30B en Moondream3) op dichte scènes, ondanks dat Falcon Perception slechts 600M parameters heeft (of 300M voor de OCR-versie).
• Resolutie: Het model toont een "fase-overgang" bij hoge resoluties (1024x1024), wat essentieel is voor het lokaliseren van dichte objecten, terwijl semantische herkenning al op lagere resoluties werkt.

Op OCR (Falcon OCR):

• Het 300M-parameter model bereikt 80.3% accuraatheid op de olmOCR benchmark, concurrerend met veel grotere systemen (zoals Gemini 3 Pro en Mistral OCR 3).
• Op OmniDocBench (complexere documentlay-outs) scoort het 88.64, wat het een van de beste resultaten geeft in zijn klasse, vooral voor tabelherkenning en multi-column lay-outs.

5. Betekenis en Conclusie

Falcon Perception bewijst dat de complexiteit van dichte visuele perceptie niet noodzakelijkerwijs in de architectuur moet zitten, maar in de data en trainingsignalen.

• Simpelheid: Door de scheiding tussen encoder en decoder weg te laten, wordt het systeem eenvoudiger en schaalbaarder.
• Efficiëntie: Het model kan duizenden objecten in één afbeelding lokaliseren zonder dat de inferentiekosten exponentieel stijgen, dankzij de parallelle maskergeneratie.
• Toekomstperspectief: De auteurs suggereren dat verdere verbeteringen vooral zullen komen uit betere data-mixes, langere context-training en Reinforcement Learning (RL) om de selectie van de juiste voorspellingen uit de kansverdeling te optimaliseren (gebaseerd op de sterke "Pass@k" resultaten).

Samenvattend biedt Falcon Perception een nieuwe, schaalbare route voor dichte visuele taalmodellen die complexe, compositional prompts en dichte scènes effectiever aanpakt dan bestaande modulair opgebouwde systemen.