Can Large Language Models Assist the Comprehension of ROS2 Software Architectures?

Probleemstelling

De Robot Operating System 2 (ROS2) is de de facto standaard voor de ontwikkeling van robotsoftware. ROS2-architecturen zijn echter uiterst complex, met duizenden componenten die op een gedecentraliseerde manier communiceren via topics, services en acties. Voor ontwikkelaars en architecten is het begrijpen van deze systemen (bijvoorbeeld voor ontwerpvalidatie, foutopsporing of optimalisatie) een uitdagende taak.

Hoewel Large Language Models (LLMs) al succesvol worden ingezet voor taken zoals code-generatie en documentatie, is hun vermogen om de software-architectuur van robotische systemen te begrijpen en te verklaren nog grotendeels onontgonnen terrein. De centrale vraag is of LLMs betrouwbaar kunnen worden ingezet om ontwikkelaars te helpen bij het interpreteren van de topologie en communicatiepatronen van ROS2-systemen.

Methodologie

De auteurs hebben een gecontroleerd experiment opgezet om de prestaties van LLMs te evalueren. De aanpak omvatte de volgende stappen:

1. Selectie van Systemen: Drie ROS2-systemen met toenemende complexiteit werden geselecteerd:
   • pubsub: Een basisvoorbeeld met een publisher en subscriber.
   • turtlebot: Een modulaire mobiele robotplatform (educatief/research).
   • panda: Een complexe manipulator-simulatie met MoveIt en Gazebo.
2. Data-voorbereiding: De computationele grafieken (topologieën) van deze systemen werden geëxtraheerd tijdens de uitvoering en omgezet naar een gestructureerd JSON-formaat. Dit JSON-bestand bevatte alle nodes, topics, services en hun connecties.
3. Vraaggeneratie: Een automatisch algoritme genereerde systematisch architecturale vragen op basis van de JSON-topologie. De vragen dekken zes categorieën: entiteiten, publiceren, abonneren, services, clients en communicatiepaden. De vragen waren van het type meerkeuze (MCQ), boolean (BOOL) of open-ended (OPEN).
4. Experimentopzet:
   • Deelnemers: 9 toonaangevende commerciële LLMs (o.a. gemini-2.5-pro, o3, chatgpt-4o, claude-opus-4, gpt-4.1).
   • Aantal prompts: In totaal werden 1.230 vragen (gesampleerd uit een totaal van bijna 30.000 gegenereerde vragen) aan elk van de 9 modellen gesteld, resulterend in 11.070 antwoorden.
   • Prompting: De prompts bevatten de JSON-topologie, instructies om strikt op basis van de data te antwoorden, en een Chain-of-Thought instructie ("Let's think step by step").
5. Evaluatiemetrics:
   • Nauwkeurigheid (Accuracy): Vergelijking van het antwoord met een "ground truth" (geëxtraheerd via monitoring van de daadwerkelijke systemen).
   • Outputgrootte: Aantal tokens gegenereerd.
   • Perplexiteit: Een maatstaf voor de zekerheid en coherentie van de gegenereerde uitleg.
   • Onderwerpmodelling: Analyse van de frequentie en coherentie van onderwerpen in de uitleggen.

Belangrijkste Bijdragen

1. Empirische Evaluatie: De eerste studie die de architecturale kennis van LLMs specifiek test op ROS2-systemen.
2. Automatisering: Een algoritme voor het systematisch genereren van architecturale vragen op basis van ROS2-topologieën.
3. Gedetailleerde Analyse: Een diepgaande analyse van niet alleen de juistheid, maar ook van de redeneerprocessen (uitleggen), perplexiteit en token-gebruik.
4. Replicatiepakket: Openbaarmaking van de broncode, data en scripts om de studie te repliceren.

Resultaten

• Algemene Nauwkeurigheid: De LLMs presteerden over het algemeen zeer goed. De gemiddelde nauwkeurigheid over alle modellen en systemen was 98,22%.

  • Beste prestaties: gemini-2.5-pro (100% nauwkeurigheid over alle systemen), gevolgd door o3 (99,77%) en gemini-2.5-flash (99,72%).
  • Slechtste prestaties: gpt-4.1 (95%).
  • De nauwkeurigheid daalde licht naarmate de complexiteit van het systeem toenam (van 100% bij pubsub naar ~96% bij panda).

• Foutpatronen:

  • Van de 300 foutieve antwoorden, waren er 249 gerelateerd aan het grootste systeem (panda).
  • 99% van de fouten (297/300) betrof één specifieke vraagtype: het detecteren van communicatiepaden tussen nodes.
  • Specifiek probleem: Veel modellen faalden bij het herkennen van het systeem-brede topic /parameter_events als een geldig communicatiepad. Hoewel dit topic standaard door alle nodes wordt gebruikt, interpreteerden sommige modellen dit als een intern mechanisme en niet als een communicatieverbinding, of misten ze de volledige lijst van abonnees/publicators.

• Outputgrootte en Kosten:

  • Het aantal gegenereerde tokens nam toe met de complexiteit van het systeem.
  • Er was een grote variatie in token-gebruik tussen modellen; chatgpt-4o genereerde gemiddeld de langste antwoorden (386 tokens), terwijl o4-mini en gemini-2.5-flash compacter waren.
  • Duurdere modellen neigden soms naar kortere antwoorden, maar niet noodzakelijkerwijs naar meer nauwkeurigheid.

• Perplexiteit en Coherentie:

  • Er was een grote spreiding in perplexiteitsscores (van 19,6 voor chatgpt-4o tot 103,6 voor o4-mini), wat wijst op verschillen in de stabiliteit en voorspelbaarheid van de gegenereerde uitleggen.
  • De coherentie van de uitleggen varieerde per onderwerp: "communicatiepad" had de hoogste coherentie (0,762), terwijl "service-referenties" de laagste had (0,394).

• Redeneerpatronen:

  • LLMs neigden sterk naar het opsommen van structurele entiteiten (lijsten van nodes, topics) in plaats van het afleiden van impliciete relaties of gedrag.
  • Modellen gebruikten vaak lijsten en procedurele markers (zoals "we moeten controleren"), wat suggereert dat ze proberen te redeneren via stap-voor-stap instructies, maar soms hallucineren over niet-bestaande connecties.

Betekenis en Conclusie

De studie concludeert dat LLMs groot potentieel hebben om ontwikkelaars van ROS2 te ondersteunen bij het begrijpen van niet-triviale aspecten van hun software-architectuur. Ze kunnen feitelijke informatie over de topologie zeer accuraat extraheren.

Echter, er zijn belangrijke beperkingen:

1. Impliciete Communicatie: Modellen worstelen met het redeneren over impliciete of systeem-brede communicatiepaden (zoals /parameter_events).
2. Hallucinaties: Er is een risico op het hallucineren van niet-bestaande topics of services, vooral bij complexere systemen.
3. Modelverschillen: Er is geen "beste" model voor alle situaties; de keuze hangt af van prioriteiten (kosten vs. nauwkeurigheid vs. token-gebruik).

Aanbevelingen voor ontwikkelaars:

• Gebruik meerdere LLMs voor een genuanceerder inzicht.
• Wees voorzichtig bij het interpreteren van systeem-brede topics; valideer kritieke communicatiepaden handmatig.
• Voor complexe systemen is gemini-2.5-pro aan te raden vanwege de perfecte nauwkeurigheid, terwijl gemini-2.5-flash een goede balans biedt tussen kosten en prestaties.

De auteurs pleiten voor verder onderzoek naar het integreren van telemetrie-data (via RAG) en het trainen van modellen op specifieke architecturale patronen om de redeneercapaciteiten voor complexe ROS2-systemen te verbeteren.