AIVV: Neuro-Symbolic LLM Agent-Integrated Verification and Validation for Trustworthy Autonomous Systems

이 논문은 딥러닝의 한계를 보완하고 인간 개입을 자동화하기 위해 대규모 언어 모델 (LLM) 기반의 에이전트 council 을 도입하여 이상 징후를 검증하고 시스템 검증을 수행하는 'AIVV'라는 하이브리드 프레임워크를 제안하며, 무인 잠수함 시뮬레이션을 통해 그 유효성을 입증했습니다.

핵심

🌊 비유: "심해 탐험선과 지능형 감시 팀"

상상해 보세요. 심해에 무인 잠수함이 떠다니고 있습니다. 이 잠수함은 수많은 센서 (귀) 를 통해 주변 소리를 듣고 있습니다.

1. 문제: "소음"과 "진짜 고장"을 구별하기 힘든 상황

기존의 AI 는 매우 예리한 '경보 시스템' 역할을 했습니다.

• 상황: 잠수함의 센서가 "윙~" 하는 소리를 감지하면, 기존 AI 는 "위험! 고장이다!"라고 즉시 알람을 울렸습니다.
• 문제: 하지만 그 소리가 진짜 기계 고장일 수도 있지만, 단순히 물결이 거세게 치는 소음이거나, 잠수함이 급하게 방향을 틀면서 생긴 일시적인 진동일 수도 있습니다.
• 결과: AI 가 너무 민감하게 반응해서 "거짓 경보 (False Positive)"가 빗발쳤습니다. 이걸 해결하려면 인간 전문가가 컴퓨터 화면을 보며 "아, 이건 소음이야, 무시하자"라고 일일이 확인해 줘야 했습니다. 하지만 잠수함이 수천 대라면 인간은 감당할 수 없죠.

2. 해결책: AIVV 시스템 (3 단계 감시 팀)

이 논문은 이 문제를 해결하기 위해 **세 명의 AI 전문가로 구성된 '감시 팀'**을 만들었습니다. 이 팀은 수학적 계산과 인간의 언어적 논리를 섞어 사용합니다.

1 단계: '수비수 (Sentry)' - 숫자만 보는 경계병

• 역할: 가장 먼저 데이터를 봅니다. "이 수치가 정상 범위를 벗어났나?"만 계산합니다.
• 특징: 매우 빠르고 정확하지만, 맥락을 모릅니다. "범위를 벗어났으니 일단 멈춰!"라고 신호를 보냅니다. 하지만 이 신호가 '진짜 고장'인지 '소음'인지는 모릅니다.

2 단계: '심의회 (The Council)' - 지혜로운 판사들

• 역할: 수비수가 "범위 초과!"라고 신호를 보내면, 이 팀이 심사를 합니다. 팀은 세 명의 AI 판사로 구성됩니다.
  • 규정 준수 검사관 (Requirements Engineer): "현재 상황이 운영 규칙을 어겼나요?"라고 봅니다.
  • 고장 관리관 (Failure Manager): "이게 진짜 고장이라면 얼마나 위험한가요?"를 분석합니다.
  • 시스템 엔지니어 (System Engineer): "기술적으로 어떤 문제가 생겼고, 어떻게 고쳐야 하나요?"를 고민합니다.
• 작동 방식: 이 세 명은 **자연어 (사람 말)**로 대화하며 투표합니다. "아, 이건 소음이야, 통과!" 혹은 "아, 진짜 고장이야, 차단!"이라고 결론을 내립니다.
• 장점: AI 가 "소음"을 "고장"으로 오인하는 실수를 막아줍니다. 마치 인간이 "아, 비가 와서 센서가 흔들렸구나"라고 이해하는 것과 같습니다.

3 단계: '수리공 (Inspector & Tuner)' - 예방 정비사

• 역할: 심의회가 "이건 소음이었어, 하지만 우리 시스템이 너무 예민하게 반응했네"라고 판단하면, 이 팀이 나옵니다.
• 작동: 잠수함의 제어 시스템을 임시 복사본으로 만들어서 실험합니다. "설정을 조금만 바꿔보면 어떨까?"라고 조정 (Gain-tuning) 해 봅니다.
• 안전장치: 실험 결과가 좋으면만 실제 시스템에 적용하고, 나쁘면 원래대로 돌립니다. 마치 요리사가 새 레시피를 맛보고 나서야 메뉴판에 올리는 것과 같습니다.

---

💡 이 시스템이 왜 혁신적인가요?

1. 인간의 일손을 덜어줍니다: 예전에는 인간이 수천 개의 경보를 일일이 확인해야 했지만, 이제는 AI 팀이 스스로 판단합니다.
2. 거짓 경보를 줄입니다: "소음"을 "고장"으로 오해하는 실수를 AI 가 서로 대화하며 걸러냅니다.
3. 스스로 고쳐갑니다: 단순히 "고장났다"고 알리는 것을 넘어, "어떻게 설정을 바꿨더니 고쳐졌다"는 구체적인 해결책을 제시합니다.

🎯 결론: "AI 가 스스로를 점검하는 지능형 시스템"

이 논문은 **"AI 가 스스로를 믿지 못할 때, 다른 AI 들이 서로 대화하며 검증하고, 필요하면 스스로를 고쳐서 더 똑똑하게 만드는 시스템"**을 제안합니다.

마치 **한 팀의 선수가 경기 중 실수를 하면, 바로 코칭 스태프 (AI 팀) 가 모여서 "아, 그건 실수가 아니라 경기 흐름이었어. 아니면 진짜 실수네? 그럼 다음엔 이렇게 해보자"**라고 즉석에서 논의하고 해결책을 찾는 것과 같습니다.

이 기술은 무인 잠수함뿐만 아니라, 자율주행차, 발전소, 항공기 등 안전이 가장 중요한 모든 분야에서 인간을 대신해 시스템을 안전하게 지키는 미래의 핵심 기술이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

자율 시스템 (특히 무인 잠수정, UUV 등) 의 신뢰성 있는 운영을 위해서는 이상 탐지 (Anomaly Detection) 를 넘어선 검증 및 유효성 검증 (V&V) 이 필수적입니다. 그러나 기존 접근 방식은 다음과 같은 한계를 가지고 있습니다.

• 수학적 모델의 한계: 딥러닝 기반 이상 탐지 모델 (RNN, Transformer 등) 은 노이즈나 큰 과도 응답 (transient response) 으로 인한 '가짜 고장 (Nuisance Fault)'과 실제 시스템 고장을 구분하는 데 어려움을 겪습니다. 이는 과도한 오탐 (False Positive) 을 유발합니다.
• 확장성 부족: 기존 알고리즘은 다양한 제어 시스템으로 확장하기 어렵고, 고장 분류 및 시스템 재설계를 위한 직접적인 해법을 제공하지 못합니다.
• 인간 개입 (HITL) 의 비효율성: 현재는 오탐을 필터링하고 고장을 검증하기 위해 인간 전문가의 개입 (Human-in-the-Loop) 에 의존하고 있습니다. 이는 수천 개의 센서 스트림을 실시간으로 모니터링할 때 심각한 지연 (Latency) 을 초래하며, 운영 부하를 unsustainable(지속 불가능) 한 수준으로 만듭니다.
• LLM 의 직접 적용 위험: 대규모 언어 모델 (LLM) 은 추론 능력이 뛰어나지만, 환각 (Hallucination) 현상과 수학적 엄밀성 부족으로 인해 직접적인 실시간 제어 루프에 적용하기에는 위험합니다.

2. 제안 방법론: AIVV (Methodology)

저자들은 에이전트 통합 검증 및 유효성 검증 (Agent-Integrated Verification and Validation, AIVV) 프레임워크를 제안합니다. 이는 수학적 엄밀성과 의미론적 추론을 결합한 하이브리드 신경 - 심볼릭 (Neuro-Symbolic) 2 층 구조입니다.

2.1 아키텍처 개요

• 수학적 엔진 계층 (Mathematical Engine Layer):

  • MC Dropout LSTM: 예측 값과 불확실성 (Epistemic Uncertainty) 을 추정합니다.
  • Conformal Prediction (CP): 통계적으로 보장된 신뢰 구간 (Conformal Bound, $C_\alpha$) 을 설정하여 오탐을 줄이고, 수학적 기준을 엄격하게 유지합니다.
  • Sentry (감시자): 계산된 잔차 (Residual) 가 CP 경계를 초과할 때만 다음 단계로 이상을 전달하는 결정론적 게이트 역할을 합니다.

• 의사결정 및 검증 계층 (Deliberative Outer Loop - LLM Council):

  • 수학적 엔진이 이상을 감지했을 때만 활성화되는 역할 특화형 LLM 에이전트 위원회입니다.
  • 3 단계 프로세스:
    1. Deterministic Gating (Sentry): 수학적 경계 위반 여부 확인.
    2. Deliberative Adjudication (The Council): 3 명의 에이전트가 투표하여 '진짜 고장 (True Failure)'인지 '노이즈/기동 (Nuisance)'인지 판별.
    3. Adaptive Fine-tuning (Inspector & Tuner): 노이즈로 판명된 경우, 수학적 엔진을 재보정하거나 미세 조정 (Fine-tuning) 하여 시스템 적응.

2.2 LLM 위원회 (The Council) 구성

3 명의 독립적인 에이전트가 2/3 다수결 원칙으로 투표합니다.

1. Requirements Engineer (LLaMA-4-17B): 자연어 요구사항을 기준으로 시스템이 정상 운영 범위 내에 있는지 확인.
2. Failure Manager (GPT-OSS-120B): 고장 모드 분석 (FMEA) 을 수행하여 궤적 이탈의 심각성과 수복 가능성을 평가.
3. System Engineer (LLaMA-3.3-70B): UUV 역학 (Nomoto 모델 등) 과 수학적 검출 메커니즘에 대한 도메인 지식을 바탕으로 고장 여부를 최종 판단하고, 제어기 게인 튜닝 (Gain-tuning) 제안서를 생성.

2.3 적응 파이프라인 (Adaptation Pipeline)

• Inspector Agent: 위원회의 투표 결과를 바탕으로 수학적 엔진의 재보정 (Recalibration) 또는 미세 조정 (Fine-tuning) 전략을 수립.
• Tuner Agent: 제안된 전략을 **임시 복제된 엔진 (Cloned Engine)**에 적용하여 검증.
• 안전성 보장: 임시 엔진이 새로운 경계 조건을 만족해야만 실제 배포 모델로 승격 (Promotion) 시킴. 이를 통해 모델 성능 저하 (Catastrophic Forgetting) 를 방지.

3. 주요 기여 (Key Contributions)

1. 역할 기반 LLM 에이전트 자동화: 자연어 운영 허용 범위와 다수결 시스템을 통해 오탐을 필터링하고 고장 진단을 자동화.
2. 신경 - 심볼릭 게이팅 메커니즘: MC Dropout LSTM 과 Conformal Prediction 을 LLM 위원회와 결합하여, 수학적 이상 신호를 자연어 요구사항에 기반한 의미론적 검증으로 전환.
3. 행동 가능한 V&V 산출물 생성: 단순한 이상 탐지를 넘어, 시스템 재설계를 위한 게인 튜닝 제안서 (Gain-tuning proposals) 와 같은 구조화된 엔지니어링 산출물을 생성.
4. 안전한 온라인 적응: 'Clone-and-Promote' 방식을 통해 실시간 시스템에 안전한 모델 업데이트를 가능하게 함.

4. 실험 결과 (Results)

REMUS 100 UUV 시뮬레이터 (Hovering, Lawnmower Mapping, Complex Mission) 를 사용하여 75 개의 시드 (Seed) 로 실험 수행.

• 고장 검증률 (Fault Validation Rate, FVR):
  • Hovering: 100%
  • Lawnmower Mapping: 89.33%
  • Complex Mission: 93.33%
  • 의미: 순수 수학적 모델만 사용할 때의 높은 오탐률을 LLM 위원회와 적응 파이프라인을 통해 성공적으로 해결.
• 적응 성능 (Adaptation Performance):
  • 복잡한 미션 (Dataset 3) 에서 적응 파이프라인 적용 후 정확도가 23.11% 향상됨 (0.688 → 0.847).
  • 단순한 패턴에서는 수학적 모델의 예측 능력이 충분했으나, 복잡한 환경에서는 적응이 필수적임을 입증.
• Ablation Study:
  • 수학적 게이트만 사용: Dataset 2, 3 에서 오탐률 (FPR) 이 매우 높음.
  • LLM 위원회 추가: FVR 이 70% 이상으로 상승.
  • 전체 AIVV (적응 포함): 모든 조건에서 89% 이상의 신뢰할 수 있는 검증 달성.
• 모델 정렬 (Role-Specific Alignment):
  • 에이전트 역할에 맞는 모델 (예: 복잡한 추론에는 대형 모델, 단순 규칙 확인에는 소형 모델) 을 할당했을 때 성능이 최적 (100% FVR) 이었으며, 임의 할당은 성능 급감 (44~56%) 을 초래함.

5. 의의 및 결론 (Significance & Conclusion)

• HITL 프로세스의 디지털화: 인간 전문가의 수동 검토를 자동화하여 지연 시간을 획기적으로 줄이고 확장성을 확보했습니다.
• 신뢰성 있는 자율 시스템: 수학적 엄밀성 (Conformal Prediction) 과 LLM 의 추론 능력을 결합하여, 환각을 방지하면서도 복잡한 환경에서의 고장을 정확히 식별하고 대응책을 제시합니다.
• 실용적 적용 가능성: 단순한 이상 탐지를 넘어, 제어 시스템의 게인 튜닝 제안과 같은 구체적인 엔지니어링 조치를 자동 생성하여 시스템 재설계 (Redesign) 까지 지원할 수 있음을 증명했습니다.
• 미래 전망: 추후 제안된 게인 튜닝을 내부 제어 루프에 직접 적용하여 완전한 자율 고장 허용 시스템 (Autonomous Fault-Tolerant System) 을 구현하는 것을 목표로 합니다.

이 논문은 시간 계열 데이터 도메인에서 LLM 을 매개로 한 감독 (Oversight) 의 확장 가능한 청사진을 제시하며, 신뢰할 수 있는 자율 시스템 개발을 위한 중요한 이정표가 됩니다.