CostNav: A Navigation Benchmark for Real-World Economic-Cost Evaluation of Physical AI Agents

Het paper introduceert CostNav, een nieuw benchmark voor fysieke AI-agenten dat navigatieprestaties evalueert op basis van realistische economische kosten en inkomsten door gebruik te maken van industriestandaarddata, en onthult dat bestaande methoden voor autonome bezorging nog niet economisch levensvatbaar zijn.

De kern

CostNav: De "Rekenmachine" voor Robotbezorgers

Stel je voor dat je een nieuwe bezorgdienst start met zelfrijdende robots. Je hebt een fantastische robot die perfect door de stad kan lopen, nooit tegen een boom botst en altijd op tijd is. In de wereld van onderzoekers is dit een groot succes: de robot heeft de taak volbracht!

Maar in de echte wereld, waar je moet betalen voor stroom, reparaties en verzekeringen, kan diezelfde robot je failliet laten gaan.

Dit is precies het probleem dat het nieuwe onderzoekspapier CostNav aanpakt. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Gouden Kooi" van de Simulatie

Tot nu toe hebben onderzoekers robotnavigatie getest in virtuele werelden die lijken op een gouden kooi.

• De oude manier: Ze keken alleen of de robot de doos met pizza op de juiste plek zette. Als de robot dat deed, kregen ze een "A" voor hun cijfer.
• Het probleem: Ze keken niet naar de prijskaartjes. Wat als de robot wel de pizza bezorgt, maar onderweg zo hard schokt dat de pizza in de doos smelt? Of wat als hij tegen een lantaarnpaal botst en de paal vervangen moet worden? Of wat als hij zo langzaam loopt dat de klant boos wordt en de bezorging annuleert?

In de oude tests waren deze dingen "niet belangrijk". In de echte wereld kosten ze echter geld.

2. De Oplossing: CostNav (De Echte Rekenmachine)

De onderzoekers hebben CostNav bedacht. Dit is geen simpele test meer, maar een financieel dashboard.

Stel je voor dat je een robot test alsof het een nieuw restaurant is. Je kijkt niet alleen of het eten lekker is (de taak voltooid), maar je rekent ook uit:

• Hoeveel kost de huur van het pand (hardware)?
• Hoeveel kost het eten dat we weggooien als het koud wordt (spoilage)?
• Hoeveel moet je betalen als je per ongeluk een voorbijganger verwondt (verzekering)?
• Hoeveel kost de elektriciteit?

CostNav doet precies dit. Het neemt de bewegingen van de robot en zet die om in dollars en centen.

3. Hoe werkt het? (De Vergelijkingen)

Het team heeft een zeer realistische virtuele stad gebouwd (met Isaac Sim, een krachtige simulatie-engine). Hierin laten ze robots rondrijden met een bak popcorn (omdat popcorn makkelijk uit elkaar valt als je schokt).

Ze kijken naar drie belangrijke dingen:

• De "Schok" (Jerk): Als de robot te hard remt of draait, valt de popcorn uit elkaar. In CostNav betekent dit: geen geld voor de robot, want de klant krijgt een nieuwe bestelling.
• De "Botsing" (Collision): Als de robot tegen een prullenbak of een lantaarnpaal botst, is dat niet alleen een "foutje". CostNav rekent uit hoeveel het kost om die prullenbak te vervangen of de robot te repareren.
• De "Veiligheid": Als de robot tegen een wandelaar botst, is dat niet alleen een "nee". CostNav gebruikt medische data om te berekenen hoeveel een blessure kost (verzekering, juridische kosten).

4. Wat vonden ze? (De Verbluffende Resultaten)

Ze hebben 7 verschillende robotsystemen getest:

• De "Oude School" robots: Robots met dure sensoren (LiDAR) en strakke regels.
• De "Nieuwe" robots: Robots die leren door te kijken (AI) en soms goedkoper zijn.

Het grote nieuws:
Geen enkele robot die ze testten, was winstgevend. Ze maakten allemaal verlies.

• De beste robot (genaamd CANVAS) verloor ongeveer $27 per bezorging.
• De slechtste verloor bijna $47 per bezorging.

De les:
Het is alsof je een taxi-bedrijf runt waarbij je voor elke rit die je maakt, $30 verliest. Je kunt de rit wel perfect rijden, maar als je de kosten niet dekt, is je bedrijf failliet.

Interessant genoeg deed een simpele robot met alleen een camera (geen dure LiDAR) het beter dan de dure robots met LiDAR. De dure robots botsten vaker of waren te voorzichtig, wat tijd kostte en de winst opeet.

5. Waarom is dit belangrijk?

Vroeger zeiden onderzoekers: "Kijk, onze robot kan perfect navigeren!"
Nu zegt CostNav: "Kijk, jullie robot is technisch goed, maar economisch dood."

CostNav dwingt ontwikkelaars om niet alleen te denken aan "hoe kom ik van A naar B", maar aan "hoe kom ik van A naar B zonder mijn bedrijf te ruïneren?". Het is de brug tussen de laboratoriumdroom en de zakelijke realiteit.

Samenvattend

CostNav is als een financieel stress-test voor robots. Het laat zien dat het niet genoeg is om een robot te bouwen die "slim" is. Je moet een robot bouwen die ook slim omgaat met geld. Zolang robots niet winstgevend kunnen bezorgen, blijven ze in de laboratoriumfase hangen en komen ze nooit op de straten van onze steden.

De boodschap is duidelijk: Stop met alleen kijken naar succespercentages, en begin te kijken naar de winstmarge.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CostNav: A Navigation Benchmark for Real-World Economic-Cost Evaluation of Physical AI Agents" in het Nederlands.

Probleemstelling

Huidige navigatie-benchmarks voor fysieke AI-agenten (zoals leveringsrobots) richten zich voornamelijk op technische prestaties in vereenvoudigde omgevingen, zoals succespercentages, botsingsfrequenties en padlengte. Deze benchmarks negeren echter de multidimensionale economische beperkingen die essentieel zijn voor de commerciële realisatie van autonome leveringsystemen.

De kernproblematiek is dat een hoge technische succesratio niet automatisch leidt tot economische haalbaarheid. Factoren zoals energieverbruik, schade door botsingen, voedselbederf door trillingen (jerk), onderhoudskosten en aansprakelijkheid voor letsel bij voetgangers worden vaak genegeerd. De auteurs stellen dat er een kloof bestaat tussen de huidige onderzoeksmetrics en de daadwerkelijke winstgevendheid in de echte wereld. De vraag is niet alleen "kan de robot de taak voltooien?", maar "is de levering winstgevend als alle operationele kosten en risico's worden meegerekend?"

Methodologie: CostNav

CostNav is een nieuw benchmarkkader dat fysieke AI-agenten evalueert via een uitgebreide kosten-opbrengstanalyse (cost-revenue analysis), afgestemd op real-world bedrijfsvoering.

1. Simulatieomgeving en Fysica:

• Platform: Gebaseerd op NVIDIA Isaac Sim, gebruikmakend van de high-fidelity physics-engine PhysX 5 en de Newton-engine.
• Fysieke Realisme: In tegenstelling tot traditionele simulaties die botsingen als binair falen beschouwen, meet CostNav botsingsimpulsen en snelheidsveranderingen ($\Delta v$). Dit maakt het mogelijk om schade en letsel kwantitatief te koppelen aan economische kosten.
• Ladingdynamica: De simulatie modelleert mechanische stress, inclusief "jerk" (versnellingsverandering) die kan leiden tot voedselbederf (bijv. gemorst popcorn), zelfs als de robot de bestemming bereikt.

2. Economisch Model:
Het model berekent de totale winst ($P$) per run als:
$$P = R - (C_{CAPEX} + C_{OPEX} \times N)$$
Waarbij:

• $R$ (Opbrengst): Gebaseerd op marktprijzen voor leveringen, maar verlaagd tot nul bij time-outs of schade (Service Level Agreement - SLA).
• $C_{CAPEX}$ (Kapitaalkosten): Voorafgaande investeringen in hardware (robot, LiDAR, GPS) en dataverzameling voor leermodellen.
• $C_{OPEX}$ (Operationele kosten per run):
  • Elektriciteit: Gebaseerd op gemeten vermogen en tarieven.
  • Reparatie: Afgeleid van botsingsimpulsen en levensduur van de robot.
  • Vergoedingen: Kosten voor terugbetaling bij voedselbederf of time-outs.
  • Aansprakelijkheid: Kosten voor letsel bij voetgangers (gebaseerd op de Abbreviated Injury Scale - AIS) en schade aan eigendom (postbussen, glas, bollards).
• Break-Even Point (BEP): Het aantal leveringen dat nodig is om de initiële investering terug te verdienen. Een negatieve bijdragemarge betekent dat er geen BEP is en het systeem economisch niet levensvatbaar is.

3. Evaluatie:
De auteurs evalueren zeven basismethoden in een stedelijke omgeving (voetpaden) met de Segway E1 leveringsrobot:

• Rule-based: Nav2 met AMCL (LiDAR) en GPS.
• Imitatie-Learning (5 methoden): GNM, ViNT, NoMaD, NavDP en CANVAS (alleen RGB-camera + GPS).

Belangrijkste Bijdragen

1. High-Fidelity Physics voor Economische Doeleinden: CostNav is de eerste benchmark die fysieke interacties (botsingen, trillingen) direct vertaalt naar economische kosten via industriestandaard data (SEC-rapporten, AIS-letselrapporten).
2. Realistisch Kosten-Opbrengst Model: Integratie van CAPEX en OPEX met een focus op de "Break-Even Point", wat onderzoekers toelaat om strategieën te vergelijken op basis van winstgevendheid in plaats van alleen technische succes.
3. Open Source Benchmark: Het framework, inclusief simulatiescenario's, kostmodellen, basismethoden en evaluatiecode, is volledig open-source beschikbaar gesteld.
4. Paradigmaverschuiving: Het introduceert een verschuiving van technische metrics naar bedrijfsrelevante uitkomsten, waarbij de optimalisatie van winst centraal staat.

Resultaten

De evaluatie van zeven methoden leverde verontrustende maar cruciale inzichten op:

• Geen Economisch Levensvatbare Methode: Geen van de zeven onderzochte methoden (zowel rule-based als learning-based) is economisch levensvatbaar. Alle methoden leveren een negatieve bijdragemarge op, wat betekent dat elke levering meer kost dan hij oplevert.
• Beste Prestatie: De beste presterende methode was CANVAS (een imitatie-leermethode met alleen een RGB-camera en GPS), met een verlies van -$27,36 per run.
  • CANVAS presteerde beter dan de rule-based Nav2 met LiDAR (verlies van -$35,46 per run), wat aantoont dat goedkope sensoren met slimme algoritmen economisch efficiënter kunnen zijn dan dure sensorsets met traditionele planning.
• Dominante Kostenfactoren:
  • Voetgangersveiligheid: Dit is de grootste operationele kostenpost. Zelfs de beste methoden veroorzaken aanzienlijke verwachte kosten voor voetgangersletsel door botsingen.
  • Voedselbederf: Trillingen en scherpe bochten leiden tot bederf, wat de opbrengst reduceert.
  • Succespercentages: Veel leermodellen (zoals ViNT, NoMaD, NavDP) hadden zeer lage SLA-compliance (vaak <10%) door time-outs of het niet kunnen navigeren in complexe stedelijke omgevingen.
• Conclusie: Het optimaliseren voor taaksucces in een vereenvoudigde setting is fundamenteel anders dan het optimaliseren voor economische inzetbaarheid in de echte wereld.

Betekenis en Impact

CostNav markeert een belangrijke stap in de ontwikkeling van fysieke AI. Het paper demonstreert dat de huidige staat van de techniek voor autonome leveringsrobots nog niet klaar is voor commerciële schaalvergroting; de operationele kosten (vooral veiligheid en onderhoud) overschrijden de opbrengst aanzienlijk.

Door een gemeenschappelijk, economisch onderbouwd benchmarkkader te bieden, daagt CostNav de onderzoeksgemeenschap uit om navigatiebeleid te ontwikkelen dat niet alleen "slim" is, maar ook winstgevend. Het stelt onderzoekers in staat om direct te optimaliseren op winst via economische beloningsfuncties en helpt ontwikkelaars om data-gedreven beslissingen te nemen over sensorconfiguraties en inzetstrategieën. Dit is essentieel voor de overgang van academische prototypes naar daadwerkelijke, rendabele producten.