Can Large Language Models Assist the Comprehension of ROS2 Software Architectures?

1. 연구 배경 및 문제 정의 (Problem)

• ROS2 의 복잡성: 로봇 소프트웨어 개발의 사실상의 표준인 ROS2(Robot Operating System 2) 는 수천 개의 컴포넌트가 분산 방식으로 통신하는 매우 복잡한 아키텍처를 가집니다.
• 이해의 어려움: 이러한 복잡한 아키텍처를 이해하고 검증하는 것은 개발자에게 큰 부담이 됩니다.
• LLM 의 잠재력과 미해결 과제: 대규모 언어 모델 (LLM) 은 코드 생성, 문서화 등 다양한 소프트웨어 공학 작업에 적용되고 있으나, 로봇 시스템 (ROS2) 의 아키텍처 이해를 지원하는 능력은 아직 충분히 탐구되지 않았습니다.
• 연구 목표: LLM 이 ROS2 시스템의 아키텍처에 관한 사실적 정보 (사실 관계) 를 얼마나 정확하게 이해하고 답변할 수 있는지, 그리고 그 한계는 무엇인지 실증적으로 평가하는 것입니다.

2. 연구 방법론 (Methodology)

이 연구는 통제된 실험 (Controlled Experiment) 을 통해 진행되었습니다.

• 실험 대상 (ROS2 시스템): 크기와 복잡도가 다른 3 가지 ROS2 시스템을 선정했습니다.
  1. pubsub: 기본 예제 (2 개 노드, 1 개 토픽).
  2. turtlebot: 교육 및 연구용 모바일 로봇 플랫폼 (8 개 노드, 15 개 토픽).
  3. panda: IFRA 그룹에서 개발한 매니퓰레이터 시스템 (40 개 노드, 33 개 토픽, 276 개 서비스).
• LLM 선정: LMArena 리더보드 상위 모델 중 9 개 (gemini-2.5-pro, o3, chatgpt-4o, claude-opus-4 등) 를 선정하여 비교 분석했습니다.
• 데이터 생성 및 프롬프트:
  • 각 ROS2 시스템의 실행 그래프 (Computation Graph) 를 JSON 형식으로 인코딩했습니다.
  • 자동 질문 생성 알고리즘을 개발하여 아키텍처 관련 질문 (엔티티 존재 여부, 노드 간 통신 경로, 서비스/토픽 유형 등) 을 체계적으로 생성했습니다.
  • 총 29,406 개의 질문 중 샘플링하여 1,230 개의 질문을 각 LLM 에게 프롬프트했습니다 (총 11,070 회 응답 생성).
• 평가 지표:
  1. 정확도 (Accuracy): 생성된 답변을 시스템 실행 및 모니터링을 통해 확보한 'Ground Truth'와 비교하여 평가.
  2. 출력 크기 (Output Size): 토큰 수를 측정하여 LLM 의 verbosity(말이 많은 정도) 분석.
  3. Perplexity (불확실성): LLM 이 생성한 설명의 일관성과 예측 가능성을 측정.
  4. 주제 분석 (Topic Modeling): LLM 의 설명 (Explanation) 에서 추출된 주요 주제와 논리 구조 분석.

3. 주요 기여 (Key Contributions)

1. 실증적 평가: ROS2 시스템 아키텍처 이해를 위한 LLM 의 능력을 체계적으로 평가한 최초의 연구 중 하나.
2. 자동 질문 생성 알고리즘: ROS2 토폴로지를 기반으로 아키텍처 관련 질문을 체계적으로 생성하는 알고리즘 제안.
3. 심층 분석: 단순 정답 여부뿐만 아니라 LLM 의 설명 (Reasoning) 의 일관성, 주제 분포, Perplexity 등을 다각도로 분석.
4. 재현성 패키지: 토폴로지 추출, 질문 생성, 프롬프트 구성, 데이터 분석 스크립트 및 원시 데이터를 포함한 전체 연구 재현 패키지 공개.

4. 주요 결과 (Results)

A. 정확도 (Accuracy)

• 전반적 높은 정확도: 모든 LLM 에서 평균 **98.22%**의 높은 정확도를 보였습니다. 가장 간단한 시스템 (pubsub) 에서는 100% 정확도를 달성했습니다.
• 모델별 성능 차이:
  • 최고 성능: gemini-2.5-pro (100% 정확도).
  • 상위권: o3 (99.77%), gemini-2.5-flash (99.72%).
  • 하위권: gpt-4.1 (95.33%).
• 오류 패턴: 전체 11,070 개의 질문 중 300 개만 틀렸습니다. 이 중 249 개는 가장 복잡한 시스템 (panda) 에서 발생했습니다.
  • 주요 오류 원인: 약 99% 의 오류가 **"두 노드 간의 메시지 교환 (통신 경로) 존재 여부"**를 묻는 질문에서 발생했습니다. 특히 시스템 전체 토픽인 /parameter_events 를 통한 통신 경로를 LLM 이 간과하거나 유효하지 않다고 판단하는 경향이 있었습니다.

B. 출력 크기 및 비용 (Output Size)

• 시스템의 복잡도가 증가할수록 LLM 이 생성하는 토큰 수 (출력 길이) 가 증가하는 경향이 있었습니다.
• chatgpt-4o 는 평균적으로 가장 긴 답변 (386 토큰) 을 생성했으나, 이는 항상 높은 정확도와 비례하지는 않았습니다.

C. Perplexity (불확실성)

• 모델 간 Perplexity 점수 차이가 컸습니다.
  • 가장 낮음 (일관성 높음): chatgpt-4o (19.6).
  • 가장 높음 (일관성 낮음): o4-mini (103.6).
• 이는 LLM 이 생성한 설명의 유창성과 내부 일관성에 큰 차이가 있음을 시사합니다.

D. 주제 분석 (Topic Modeling)

• LLM 의 설명에서 가장 빈번하게 언급된 주제는 "통신 경로 (Communication Path)" (일관성 0.762) 였고, "서비스 참조 (Service References)" (일관성 0.394) 가 가장 낮았습니다.
• LLM 은 구조적 엔티티 (노드, 토픽 목록) 를 나열하는 데는 능숙하지만, 암시적 관계나 시스템 전체적인 통신 패턴을 추론하는 데는 어려움을 겪었습니다.

5. 의의 및 시사점 (Significance)

• 개발자 관점:
  • LLM 은 ROS2 아키텍처의 명시적 정보 (노드 목록, 토픽 연결 등) 를 추출하는 데 매우 유용한 도구입니다.
  • 하지만 시스템 전체 토픽 (예: /parameter_events) 이나 복잡한 통신 경로에 대해서는 모델마다 해석이 달라 오류가 발생할 수 있으므로, 개발자는 LLM 의 답변을 맹신하지 않고 검증해야 합니다.
  • 비용 효율성이 중요하다면 gemini-2.5-flash 를, 복잡한 시스템의 높은 정확도가 필요하다면 gemini-2.5-pro 를 사용하는 것이 권장됩니다.
• 연구자 관점:
  • LLM 의 아키텍처 이해 능력을 향상시키기 위해 ROS2 도메인 특화 파인튜닝이나 RAG(검색 증강 생성) 전략이 필요함을 시사합니다.
  • 비기능적 속성 (에너지 소비, 성능 등) 이나 아키텍처 반패턴 (Anti-patterns) 탐지 등 더 복잡한 추론 작업으로 연구 범위를 확장할 수 있는 가능성을 제시합니다.

결론적으로, 이 연구는 LLM 이 ROS2 소프트웨어 아키텍처 이해를 돕는 강력한 잠재력을 가지고 있음을 입증했으나, 특히 암시적 통신 경로와 시스템 전체 토픽에 대한 추론에서는 여전히 한계가 있음을 보여주었습니다. 따라서 개발자는 LLM 을 보조 도구로 활용하되, 그 한계를 인지하고 신중하게 사용해야 합니다.