Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

본 논문은 네 가지 사용 사례에 대한 산업 현장 전문가들의 긍정적 피드백을 통해 검증된 바와 같이, 설계 단계에서 자가 적응 로봇의 불확실성을 체계적으로 식별, 분석 및 완화하는 데 도움이 되도록 대규모 언어 모델을 활용하는 인간-루프 방법론 및 도구인 RoboULM 을 소개합니다.

핵심

로봇이 붐비는 도시를 항해하거나, 노트북을 수리하거나, 배를 운항해야 한다고 상상해 보세요. 세상은 지저분하고 예측 불가능하며 놀라움으로 가득 차 있습니다. 로봇이 이러한 놀라움 (이 논문에서는 이를'불확실성'이라고 부릅니다) 에 대비하지 못한다면, 충돌하거나 무언가를 고장 내거나 갇힐 수 있습니다.

문제는 발생할 수 있는 모든 가능한 문제점을 파악하는 것이 매우 어렵다는 점입니다. 집을 짓기 전에 집이 불타는 모든 가능한 방법을 나열해 보려고 하는 것과 같습니다. 보통 엔지니어들은 경험에 기반하여 추측해야 하는데, 이는 종종 숨겨진 위험을 놓치게 만듭니다.

이 논문은 이를 해결하기 위해 RoboULM이라는 새로운 도구를 소개합니다. RoboULM을 로봇이 제작되기 전에 엔지니어들이 모든 가능한'만약'시나리오를 브레인스토밍할 수 있도록 돕는 초지능적이고 지치지 않는 조수로 생각하세요.

간단한 비유를 사용하여 작동 방식을 설명하면 다음과 같습니다:

1. "마스터 체크리스트" (분류 체계)

먼저, 연구자들은 UncerTax라는 거대하고 조직화된"마스터 체크리스트"를 만들었습니다.

• 비유: 자동차 부품 목록만 나열하는 것이 아니라, 고장 날 수 있는 모든 가능성을 분류하는 정비사 매뉴얼을 상상해 보세요. 타이어가 펑크 난 것 (하드웨어) 일까요? 지도가 혼란스러운 것 (소프트웨어) 일까요? 갑자기 비가 온 것 (환경) 일까요?
• 기능: 이 체크리스트는 로봇의 인간 엔지니어와 컴퓨터 조수가 같은 언어로 소통할 수 있도록 돕습니다. 단순히'고장 난 부품'만을 생각하는 것이 아니라'혼란스러운 데이터'나'윤리적 문제'까지 고려하도록 보장합니다.

2. "브레인스토밍 파트너" (LLM)

이 도구는 때로는 수다스러운 AI 일 수 있지만 매우 지식이 풍부한 대규모 언어 모델 (LLM) 을 사용합니다.

• 비유: 건초 더미에서 바늘을 찾으려 한다고 상상해 보세요. 친구 (AI) 에게 도움을 요청합니다. 단순히"바늘을 찾아라"라고만 말하면 놓칠 수 있습니다. 하지만 구체적인 전략을 제시하면 훨씬 더 잘 찾아냅니다.
• 기능: RoboULM은 AI 에게 단순히"추측하라"고 요청하지 않습니다. 마스터 체크리스트에 기반한 일련의 구체적인 지시 (프롬프트) 를 AI 에게 제공합니다. AI 에게"로봇의 요구 사항을 살펴보고, 이 12 가지 특정 범주를 사용하여 위험이 정확히 어디에 있는지 알려라"라고 말합니다.

3. "루프 내 인간" (정제)

이 부분이 가장 중요합니다. AI 는 작업을 혼자 수행하도록 내버려 두지 않으며, 인간이 항상 운전석에 있습니다.

• 비유: AI 를 열정적이지만 때로는 실수를 하는 주니어 인턴으로 생각하세요. 당신은 (시니어 엔지니어로서) 그들의 작업을 검토합니다.
  • 순위 매기기: 인턴에게 점수를 줍니다."안전'부분은 정확히 맞았습니다 (10/10), 하지만'하드웨어'추측은 약했습니다 (3/10). 다시 시도해 보세요."
  • 예시: "로봇이 젖은 바닥에서 미끄러졌던 그 시간을 기억하세요. 위험을 추측할 때 그 점을 고려하세요."라고 말합니다.
  • 체크리스트: 마스터 체크리스트를 가리키며"환경'범주를 놓쳤습니다. 돌아가서 채우세요"라고 말합니다.
• 기능: 이 도구는 인간 엔지니어가 AI 의 답변이 완벽해질 때까지 계속 정제할 수 있게 합니다. 일회성 명령이 아니라 오가는 대화입니다.

4. 실세계 테스트

연구자들은 네 가지 유형의 로봇과 함께 일하는 16 명의 실제 전문가를 대상으로 이 도구를 테스트했습니다:

1. 자율 이동 로봇 (창고의 배송 봇 등).
2. 산업용 분해 로봇 (노트북을 분해하는 로봇).
3. 협업 제조 로봇 (공장에서 인간과 나란히 일하는 로봇).
4. 자율 선박 (자율 주행 선박).

결과:

• 전문가들은 이 도구가 매우 유용하고 이해하기 쉽다고 평가했습니다.
• 그들은 구조화된 프롬프트(AI 에게 제공된 명확한 지시) 를 좋아했습니다.
• 그들은 반복적 정제(AI 에게 점수를 매기고 예시와 함께 다시 시도하도록 요청하는 기능) 가 가장 도움이 되는 부분이라고 밝혔습니다.
• 전문가들은 이 도구가 그들이 놓쳤을 수도 있는 위험을 발견하는 데 도움이 되어, 로봇이 실세계에 도달하기 전에 더 안전하게 만들었다고 느꼈습니다.

요약

간단히 말해, RoboULM은 인간 엔지니어와 지능형 AI 가 함께 작업하는 디지털 작업장입니다. 인간은 경험과 최종 판단을 제공하고, AI 는 잠재적 위험을 찾기 위해 거대한"마스터 체크리스트"를 스캔하는 강력한 엔진 역할을 합니다. 질문하고, 확인하고, 정제하는 루프를 통해 협력함으로써, 그들은 예측 불가능한 실세계에 대비할 수 있는 더 안전하고 신뢰할 수 있는 로봇을 구축할 수 있습니다.

기술 요약

기술 요약: LLM 을 활용한 자기 적응형 로봇의 인간-루프 불확실성 분석

문제 제기
자기 적응형 로봇 (SAR) 은 동적이고 예측 불가능한 환경에서 작동하며, 여기서 해결되지 않은 불확실성은 안전 위반 및 운영 실패로 이어질 수 있습니다. 배포 후 수정보다 설계 단계에서 불확실성을 조기에 식별하는 것이 비용 효율적이지만, 이러한 불확실성을 체계적으로 분석하는 것은 여전히 큰 과제입니다. 기존 접근법은 직관, 이전 경험, 또는 정적 분류법에 의존하는 경우가 많아 불확실성의 제한된 부분만 발견할 뿐이며, 진화하는 로봇 기술과 대규모 언어 모델 (LLM) 의 통합 속도를 따라가는 데 어려움을 겪습니다. 핵심 문제는 복잡한 SAR 의 설계 단계에서 실무자가 불확실성을 탐색하고 분류할 수 있는 체계적이고 엄격하며 확장 가능한 방법의 부재입니다.

방법론: RoboULM
이를 해결하기 위해 저자들은 LLM 을 활용하여 불확실성을 체계적으로 탐색할 수 있도록 실무자를 지원하는 인간-루프 방법론 및 도구인 RoboULM을 제안합니다. 이 방법론은 세 가지 새로운 구성 요소를 통합합니다:

1. 불확실성 분류법 (UncerTax): 네 가지 산업 사례 연구에서 도출되고 실무자에 의해 검증된 불확실성의 구조화된 분류 체계입니다. UncerTax 는 12 가지 차원에 걸쳐 불확실성을 조직화합니다: 성격 (정적/동적), 유형 (인식적/우연적), 단계 (설계/개발/테스트/운영), 시간적 지속 기간, 발생 원인 (하드웨어/환경/소프트웨어), 적응 원인, 범위 (로컬/글로벌), 위험 심각도, 영향을 받는 품질 속성, 전파 패턴, 데이터 특성, 그리고 윤리적 함의.
2. LLM 기반 탐색: 이 도구는 시스템 요구사항에 대한 추론과 불확실성 식별을 위해 LLM 을 활용합니다. 네 가지 구체적인 프롬프트 전략을 사용합니다:
   • 역할 기반 프롬프팅: 역할 중심의 맥락을 설정합니다.
   • 기준 기반 프롬프팅: 정성적 개선을 위한 인간이 부여한 순위 체계를 포함합니다.
   • 퓨샷 프롬프팅: 경험 기반 지침을 위한 예시를 제공합니다.
   • 온톨로지 제약 프롬프팅: UncerTax 요소를 사용하여 모델을 안내합니다.
3. 반복적 개선 워크플로우: RoboULM 은 세 단계 프로세스로 작동합니다:
   • 맥락 이해: 사용자가 시스템 요구사항과 역할 정의를 제공하면, LLM 은 로봇 맥락에 대한 이해를 요약합니다.
   • 초기 쿼리: 사용자가 불확실성 관련 질문을 제기합니다. LLM 은 12 가지 UncerTax 차원에 따라 분류된 구조화된 출력으로 응답하며, 각 항목에 대한 추론을 제공합니다.
   • 반복적 개선: 초기 응답이 만족스럽지 않으면, 사용자는 다음 세 가지 방법 중 하나를 사용하여 출력을 개선합니다:
     • 순위 기반 개선: 사용자는 응답 세그먼트에 점수 (1~10) 를 매겨 개선이 필요한 영역을 강조합니다.
     • 예시 기반 개선: 사용자는 의도된 해석을 명확히 하기 위해 구체적인 실제 시나리오를 제공합니다.
     • 분류법 기반 개선: 사용자는 LLM 의 추론을 지시하기 위해 특정 분류법 요소를 선택합니다.

이 도구는 Gemini 2.5 Flash 모델 (하이브리드 추론과 큰 컨텍스트 창을 선택 이유) 을 사용하여 웹 애플리케이션 (React 프론트엔드, Express 백엔드) 으로 구현되었으나, ChatGPT 및 Llama 와 같은 다른 모델과도 호환됩니다.

주요 기여

• UncerTax: SAR 를 위한 포괄적인 불확실성 분류법으로, 12 가지 차원에 걸쳐 식별 방법, 원인, 영향 및 완화 전략을 상세히 기술합니다.
• RoboULM 도구: 구조화된 프롬프팅과 반복적 개선 기능을 결합하여 인간-루프 불확실성 분석을 운영화하는 기능적 프로토타입입니다.
• 프롬프팅 전략: LLM 이 생성한 불확실성 분석을 반복적으로 개선하도록 설계된 고급 프롬프팅 기법들 (순위, 예시 기반, 분류법 기반) 의 세트를 제공합니다.

평가 및 결과
저자들은 네 가지 산업 사용 사례 (자율 이동 로봇 (AMR), 산업용 분해 로봇 (IDR), 협업 제조 로봇 (CMR), 자율 선박 (AV)) 에서 연구원, 소프트웨어 엔지니어, 로봇 엔지니어를 포함한 16 명의 실무자를 대상으로 RoboULM 을 평가했습니다.

• 사용성: 도구는 일반적으로 유용하고 이해하기 쉬운 것으로 인식되었습니다. AMR 사례 연구는 유용성과 이해도에서 가장 높은 점수 (중앙값 4.5/5) 를 받았습니다.
• 기능 선호도: 구조화된 프롬프팅이 가장 일관되게 가치 있는 기능으로 평가되었습니다 (평균: 4.25, 상위 두 항목 점수: 87.5%). **반복적 개선 (3 단계)**은 참가자들이 가장 도움이 되는 측면으로 꼽았습니다.
• 개선 방법: 순위 기반 개선이 가장 빈번하게 사용되었으며 직관적인 것으로 인식되었습니다. 참가자가 관련 예시를 제공할 수 있었을 때 예시 기반 개선은 높은 평가를 받았습니다. 분류법 기반 개선은 관련 분류법 요소를 식별하는 데 어려움이 있고 때로는 LLM 이 응답 개선보다는 분류법 설명에 집중하는 경향이 있어 일부 참가자 (특히 CMR 및 AV 사례) 에게 덜 선호되었습니다.
• 상호작용 로그: 대부분의 참가자가 여러 불확실성 질문을 탐색하며 작업을 완료했습니다. 분석 결과, 참가자들이 환경, 하드웨어, 소프트웨어, 인간 등 다양한 불확실성 원인과 영향을 광범위하게 다루었음이 확인되었습니다.

의의 및 주장
이 논문은 RoboULM 이 복잡한 로봇에서 체계적인 불확실성 분석을 위해 LLM 을 사용하는 실용성을 입증한다고 주장합니다. 연구 결과는 구조화된 프롬프팅과 인간이 안내하는 반복적 개선의 결합이 전통적인 방법보다 실무자가 불확실성을 더 포괄적으로 탐색할 수 있게 함을 시사합니다. 저자들은 RoboULM 을 분류법 및 개선 루프를 통한 인간 감독을 유지하면서 LLM 의 추론 능력을 활용하여 SAR 에서의 엄격한 불확실성 분석이라는 과제를 해결할 수 있는 실현 가능한 솔루션으로 위치시킵니다.

저자들은 이 작업이 "첫 번째 작동 프로토타입"과 사용성 연구임을 명시하며 주장에 대해 겸손한 태도를 유지합니다. 표본 크기 (16 명) 로 인해 외부 타당성에 제한이 있음을 인정하지만, 산업 사례와 참가자 역할의 다양성이 연구 결과를 강화한다고 주장합니다. 향후 작업으로는 참가자가 제안한 기능을 통합하고 추가 로봇 사례 및 LLM 에 걸쳐 도구를 평가할 계획입니다.