🤖 AI

FleetAgent: Teleoperation Assistant for Autonomous Fleets via Vectorized V2N Messages

FleetAgent is een in de cloud gehoste multimodale assistent die gebruikmaakt van een innovatieve vector-naar-embedding interface genaamd VecFormer om compacte, gestructureerde voertuig-naar-netwerkberichten te verwerken, wat efficiënte, uitlegbare en geprioriteerde teleoperatie-monitoring voor grootschalige autonome vloten mogelijk maakt terwijl de dataoverdracht en het geheugengebruik aanzienlijk worden verminderd in vergelijking met ruwe sensor- of tekstgebaseerde benaderingen.

Oorspronkelijke auteurs: Juntong Peng, Qi Chen, Deyuan Qu, Takayuki Shimizu, Yaobin Chen, Ziran Wang

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Juntong Peng, Qi Chen, Deyuan Qu, Takayuki Shimizu, Yaobin Chen, Ziran Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme vloot zelfrijdende auto's voor, zoals een schoolbus-systeem voor de hele stad. Normaal gesproken rijden deze auto's perfect zelfstandig. Maar soms raken ze gestrand, raken ze in de war, of komen ze in een vreemde situatie terecht die ze niet alleen kunnen oplossen. Dat is het moment waarop ze om hulp vragen aan een menselijke "remote piloot" die in een controlecentrum zit.

Het probleem? Als elke auto de live camerabeelden en sensordata naar het controlecentrum zou streamen, zou dat zijn alsof je probeert het hele internet te downloaden op een enkele inbelverbinding. Het zou te traag zijn, te duur, en de menselijke piloten zouden overweldigd raken door het proberen te bekijken van honderden videofeeds tegelijk.

Maak kennis met "FleetAgent". Denk aan FleetAgent als een super slimme, cloud-gebaseerde assistent die fungeert als een vertaler en een filter voor deze zelfrijdende auto's. Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "Schets" in plaats van de "Foto"

In plaats van een high-definition videostream te sturen (wat enorm en zwaar is), sturen de auto's een kleine, compacte "schets" van de weg.

De oude manier: Het sturen van een 4K-video van de straat.
De manier van FleetAgent: Een tekstbericht sturen dat zegt: "Ik ben op deze GPS-locatie, er rijdt een rode auto 10 meter voor me die naar links beweegt, en mijn plan is om rechts af te slaan."
Het resultaat: Deze "schets" is 625 keer kleiner dan een videostream. Het is alsof je een snel tekstbericht stuurt in plaats van een volledig filmbestand.

2. De "Slimme Samenvatter" (VecFormer)

Het paper introduceert een speciaal hulpmiddel genaamd VecFormer. Stel je voor dat je een enorme bibliotheek vol boeken hebt (de data), maar je hebt alleen tijd om de belangrijkste hoofdstukken te lezen.

Normaal gesproken lezen AI-modellen alles, wat hun "werkgeheugen" (de zogenaamde KV-cache) vult en ze vertraagt.
VecFormer is als een bibliothecaris die naar de "schets" van de auto kijkt, onmiddellijk de top K meest belangrijke details uitkiest (zoals de auto die recht voor je rijdt, en niet de auto drie blokken verderop) en alleen die aan het hoofd-AI brein voert.
Dit houdt het geheugengebruik van de AI 16 keer kleiner dan wanneer het een lange tekstuele beschrijving van de scène zou proberen te lezen.

3. De "Verkeersregelaar" voor menselijke piloten

De menselijke piloten in het controlecentrum kunnen niet 1.000 auto's tegelijk bekijken. Ze moeten weten: Welke auto heeft nú problemen?

FleetAgent zegt niet alleen: "Hier is wat de auto ziet."
Het fungeert als een verkeersregelaar die de piloot een samenvatting in natuurlijke taal geeft (bijv. "De auto aarzelt bij een zebrapad omdat een voetganger de weg opstapt") en een Urgentiescore (0 tot 10).
Als de score een 9 is, weet de piloot dat hij alles moet laten vallen en direct naar die specifieke auto moet kijken. Als het een 1 is, is de auto in orde en kan de piloot dit voor nu negeren.

4. De "Trainingsgrond" (VecEval)

Om dit systeem te leren, konden de onderzoekers niet alleen gewerkt met echte wereldgegevens, omdat ze voorbeelden nodig hadden van auto's die fouten maken om te zien of de AI deze kon detecteren.

Ze hebben een speciale dataset gebouwd genaamd VecEval.
Ze namen echte rijdata en creëerden kunstmatig "onvolmaakte" versies van de plannen van de auto (zoals de auto vertellen om op te accelereren terwijl hij eigenlijk zou moeten stoppen).
Vervolgens lieten ze mensen opschrijven wat er had moeten gebeuren en hoe urgent de situatie was. Hiermee werd FleetAgent getraind om slechte plannen te herkennen en uit te leggen waarom ze slecht zijn.

De Kern van het Verhaal

Het paper beweert dat door dit systeem te gebruiken:

Bandbreedte wordt bespaard: Je stuurt 625 keer minder data dan het sturen van ruwe video.
Geheugen wordt bespaard: De AI heeft 16 keer minder computergeheugen nodig om de informatie te verwerken.
Snelheid wordt verbeterd: Het systeem reageert sneller (ongeveer 4,4 seconden) en is beter in het opsporen van gevaarlijke situaties dan eerdere methoden.
Veiligheid wordt vergroot: Het helupt menselijke piloten om prioriteit te geven aan welke auto's hulp nodig hebben, wat de kans verkleint dat een gevaarlijke situatie wordt gemist.

Kortom, FleetAgent verandert een chaotische vloedgolf aan data in een overzichtelijke, geprioriteerde takenlijst voor menselijke operators, waardoor het mogelijk wordt om enorme vloten van zelfrijdende auto's te beheren zonder het netwerk of het menselijk brein te laten crashen.

Technische Samenvatting: FleetAgent

Probleemstelling

Grootschalige autonome vloten vertrouwen steeds vaker op teleoperatie om zeldzame, veiligheidskritische fouten op te lossen die de on-board systemen niet kunnen afhandelen. De huidige paradigma's voor teleoperatie kampen echter met twee primaire knelpunten:

Communicatiebeperkingen: Het streamen van ruwe sensordata (bijv. camera- en LiDAR-feeds) van voertuigen naar remote centra is kostbaar in termen van bandbreedte, latentie en stabiliteit, vooral bij netwerkcongestie.
Cognitieve belasting van de operator: Remote operators kunnen slechts een beperkt aantal voertuigen tegelijkerten monitoren. Wanneer zij wisselen tussen voertuigen, ervaren zij een hoge "context-switch kost" om situationeel bewustzijn te reconstrueren uit ruwe data of ongestructureerde tekst.

Bestaande Multi-modale Large Language Models (MLLMs) tonen veelbelovende resultaten bij het redeneren over rijscenario's, maar vereisen doorgaans ruwe sensoringangen of lange tekstbeschrijvingen, die ofwel te groot zijn om te verzenden, ofwel excessieve contextlengtes genereren die de GPU-geheugen (KV-cache) belasten en de inferentie-doorvoer verminderen.

Methodologie: FleetAgent

De auteurs stellen FleetAgent voor, een in de cloud gehoste teleoperatie-assistent die ontworpen is om voertuigplanning te evalueren en gestructureerde verklaringen te genereren met behulp van compacte, gevectoriseerde Vehicle-to-Network (V2N) berichten.

1. Inputrepresentatie: Gevectoriseerde V2N-berichten

In plaats van ruwe afbeeldingen of uitgebreide tekst, neemt FleetAgent een compact bericht in dat bestaat uit:

Kaalelementen: Polylines die rijstrookscheidingen, grenzen en zebrapaden vertegenwoordigen.
Dynamische objecten: Huidige positie, koers en voorspelde toekomstige trajecten van omliggende agenten.
Ego Plan: Toekomstige waypoints van het geplande traject van het autonome voertuig.

2. Kernarchitectuur: VecFormer

Om de kloof tussen gestructureerde vectorgegevens en token-gebaseerde MLLMs te overbruggen, introduceren de auteurs VecFormer, een vector-naar-embedding interface met twee belangrijke componenten:

Vector Encoders: Leerbare modules die inputvectoren (polylines/trajecten) mappen naar continue embeddings die compatibel zijn met de basis-MLLM.
Differentiële Top-K Context Selectie: Een mechanisme dat het ego plan gebruikt als query om aandachtsscores te berekenen over map- en object-embeddings. Het selecteert de top- $K$ meest relevante contextvectoren met behulp van sequentiële Gumbel-Softmax sampling. Dit zorgt voor een begrensde contextlengte, wat ongecontroleerde groei van de KV-cache voorkomt en efficiënte batchverwerking mogelijk maakt.

3. Trainingsstrategie

Het systeem wordt in drie stadia getraind om een vooraf getrainde MLLM (Qwen2.5-VL) aan te passen met beperkte, door mensen geverifieerde labels:

Masked Vector Reconstruction: Zelfgesuperviseerde pretraining van vectorencoders om ruimtelijke en temporele structuren te vangen.
Fixed-format Instruction Tuning: Het aflijnen van de gecodeerde feature-ruimte met de embedding-ruimte van de MLLM met behulp van korte prompts, zonder dat natuurlijke taalannotaties nodig zijn.
Supervised Fine-tuning (SFT): Het gebruik van door mensen geverifieerde labels om een feature projector en de context-prioritisatiemodule te trainen, terwijl prefix tuning en LoRA worden toegepast op de basis-LLM voor redeneren en scoring.

4. Output

FleetAgent produceert:

Gestructureerde Natuurlijke Taal: Narratie, uitleg en evaluatie van het plan en de scène om de situationele awareness van de operator te ondersteunen.
Interventie Urgentiescore: Een score ($0-10$) om te prioriteren welke voertuigen onmiddellijke aandacht van de operator vereisen.

Dataset: VecEval

Om training en evaluatie te faciliteren, hebben de auteurs VecEval geconstrueerd, een dataset afgeleid van nuScenes.

Imperfect Plan Generatie: Counterfactuele trajecten worden gegenereerd door te samplen uit een geclusterde vocabulaire van menselijke rijgedragingen, waardoor fysiek plausibele maar gedragsmatig imperfecte plannen ontstaan (bijv. onveilige acceleraties of rijstrookschendingen).
Annotatie: Elke sample bevat gestructureerde taalresponsen (narratie, uitleg, evaluatie) en een interventie urgentiescore, geverifieerd door menselijke annotatoren om feitelijke juistheid en gekalibreerde urgentie te waarborgen.

Belangrijkste Bijdragen

FleetAgent Pipeline: Een formulering voor fleet-scale teleoperatie die het ego-gedrag evalueert vanuit compacte V2N-berichten, waarbij gestructureerde verklaringen en urgentiescores worden geboden voor operator-prioritisering.
VecFormer Interface: Een nieuw vector-naar-embedding module met differentiële top-K context selectie die de contextlengte begrenst en de groei van de KV-cache geheugen aanzienlijk vermindert vergeleken met getokeniseerde tekstbeschrijvingen.
VecEval Dataset: Een nieuwe dataset die gestructureerde rijcontexten koppelt aan imperfecte planvarianten en door mensen geverifieerde evaluatielabels, waarmee het tekort aan middelen voor teleoperatie-specifieke planevaluatie wordt aangepakt.
Systeemniveau Efficiëntie: Demonstratie van significante reducties in bandbreedte en geheugensvoetprint, terwijl competitieve redeneerprestaties behouden blijven.

Empirische Resultaten

Het systeem is geëvalueerd op de VecEval validatieset en vergeleken met baselines, waaronder ruwe afbeeldingen, BEV-afbeeldingen en getokeniseerde taalbeschrijvingen gevoed aan modellen zoals Qwen2.5-VL-7B en GPT-4o.

Bandbreedte Reductie: FleetAgent vermindert de uplink payload met wel 625 $\times$ vergeleken met ruwe afbeeldingen (40,5 kB vs. ~25 MB).
Geheugenefficiëntie: Vergeleken met het gebruik van getokeniseerde tekstbeschrijvingen, vermindert FleetAgent het KV-cache geheugengebruik met 16,54 $\times$ (1.241 MB vs. 20.522 MB) in lokale implementaties, wat grotere batchgroottes mogelijk maakt.
Prestaties: Op VecEval verbetert FleetAgent de Lingo-Judge score met 16,8% en vermindert het de Intervention Failure Rate (IFR) met 19,9% vergeleken met Qwen2.5-VL-7B met taalbeschrijvingen.
Latentie: Het systeem bereikt een responstijd van 4,41 seconden, waarmee het andere lokale en API-gebaseerde methoden overtreft, met aanzienlijk lagere end-to-end communicatielatentie door kleinere pakketgroottes.
Cross-Dataset Validatie: Op de Nu-X dataset presteert FleetAgent beter dan eerdere state-of-the-art methoden (bijv. ALN-P3), wat de haalbaarheid bevestigt van het gebruik van compacte gevectoriseerde inputs op beeld- en tekst-pretrainede VLMs.

Betekenis en Claims

Het artikel claimt dat FleetAgent aantoont dat compacte gestructureerde V2N-messaging effectief kan bijdragen aan efficiënte, verklaarbare teleoperatie-monitoring voor autonome vloten. Door de noodzaak van het streamen van ruwe sensordata los te koppelen van de redeneerkracht van MLLMs, pakt het systeem de schaalbaarheidsknelpunten van bandbreedte en de cognitieve belasting van de operator aan. De auteurs benadrukken dat hun aanpak een competitieve planevaluatie prestatie behoudt terwijl het de computationele en communicatieve middelen die voor cloud-gehost fleet management vereist zijn, drastisch vermindert.

De auteurs merken op dat hun evaluatie momenteel offline is vanwege de ontoegankelijkheid van online teleoperatiesystemen. Toekomstig werk wordt voorgesteld om closed-loop validatie en human-subject studies uit te voeren om de praktische voordelen voor de besluitvorming van de operator te beoordelen.