당신은 다음번 거대한 폭풍을 예측하려고 노력 중이라고 상상해 보십시오. 단순히 추측만 해서는 안 됩니다. 바람, 기압, 그리고 온도가 과거에 어떻게 함께 춤을 추며 혼돈을 만들어냈는지 살펴봐야 합니다. 이것이 항공 분야에서 "안전 분석(safety analysis)"의 핵심입니다. 이는 엔진에서 연기가 난 후에 고장 난 엔진을 고치는 것에 관한 것이 아닙니다. 데이터로 만든 수정구슬을 사용하여 "만약 조종사가 혼란을 느끼고, 날씨가 얼어붙으며, 컴퓨터에 오류가 동시에 발생한다면 어떻게 될까?"라고 묻는 것에 관한 것입니다. 목표는 이러한 위험한 조합이 실제로 발생하기 전에 찾아내어, 엔지니어들이 이를 견뎌낼 수 있는 비행기를 설계할 수 있도록 하는 것입니다. 수십 년 동안 인간은 브레인스토밍과 과거 사고 보고서를 검토하며 이 일을 해왔지만, 가능한 "만약에(what-if)" 시나리오의 수는 너무나 방대하여 마치 해변에서 특정 모래알 하나를 찾는 것과 같습니다. 이제 과학자들은 묻고 있습니다: 우리가 이 브레인스토밍을 대신 해줄 수 있는 초지능형 컴퓨터를 가르칠 수 있을까?

이 논문은 안전 엔지니어의 창의적인 글쓰기 파트너 역할을 하는 HaGen(Hazard Generator)이라는 새로운 AI 도구를 소개합니다. HaGen은 단순히 건조한 사실들을 나열하는 대신, NASA의 데이터베이스에 있는 수천 건의 실제 과거 사고 보고서를 읽고 항공 재난의 "문법"을 학습합니다. 만약 엔지니어가 "맑은 하늘 아래 착륙 중에 비행기가 손상을 입는 시나리오를 보여줘"라고 요청하면, HaGen은 단순히 무작위적인 오류 목록을 내뱉지 않습니다. 그것은 구체적이고 현실적인 원인들(예: 특정 유형의 날씨, 특정 비행 단계, 그리고 인간의 실수)을 선택한 다음, 이러한 요소들이 어떻게 결합하여 문제를 일으키는지 설명하는 생생하고 기술적인 서사를 구축합니다.

연구진은 이 도구를 기존의 더 경직된 수학적 방법들과 비교 테스트했습니다. 그 결과, AI는 이야기를 쓰는 데는 뛰어나지만, 때때로 논리에서 실수를 하여 불가능한 사건의 조합을 만들어낸다는 것을 발견했습니다. 그러나 그들은 영리한 해결책을 찾아냈습니다: **HaGen+**라고 불리는 하이브리드 버전을 만든 것입니다. 이 버전에서는 매우 논리적인 다른 AI가 먼저 사고의 "뼈대"(원인 목록)를 구축하고, HaGen은 단순히 그 위에 "살(이야기)"을 붙이는 역할을 합니다. 이 결합 방식은 가장 신뢰할 수 있는 결과를 냈으며, 현실적일 뿐만 아니라 일관되고 논리적 오류가 없는 시나리오를 생성했습니다. 이 논문은 이 하이브리드 접근 방식이 전문가가 최종 결과물을 항상 재검토한다는 전제하에, 엔지니어가 놓칠 수 있는 위험한 상황을 포착하도록 돕는 강력한 조수가 될 수 있다고 제안합니다.

HaGen의 이야기: AI에게 재난을 꿈꾸도록 가르치기 (안전하게)

항공 안전은 마치 "만약에?"라는 게임을 하는 것과 비슷하지만, 그 판돈은 하늘만큼이나 높습니다. 비행기를 안전하게 유지하기 위해 엔지니어들은 비행이 잘못될 수 있는 모든 가능한 방법을 상상해야 합니다. 그들은 패턴을 보기 위해 NASA의 거대한 데이터베이스인 ASRS에 저장된 것과 같은 오래된 사고 보고서들을 살펴봅니다. 보통 사고는 단 하나의 원인으로 발생하지 않습니다. 그것은 연쇄 반응입니다. 예를 들어, 날씨가 나빴고, 조종사는 피곤했으며, 센서가 고장 나는 일이 정확히 동시에 일어날 수 있습니다.

오랫동안 인간은 이러한 사건의 사슬을 수동으로 브레인스토밍해야 했습니다. 이는 매우 힘든 작업이며, 변수(날씨, 조종사 행동, 비행기 부품, 항공 관제 지시 등)가 너무 많기 때문에 기이하면서도 위험한 조합을 놓치기 쉽습니다. 여기서 논문의 저자들은 새로운 아이디어를 제시합니다: 대규모 언어 모델(LLM)—시를 쓰고 질문에 답하는 것과 같은 종류의 AI—을 사용하여 우리를 위한 "만약에" 시나리오를 생성하게 하자는 것입니다.

마법의 도구: HaGen

저자들은 HaGen이라는 도구를 만들었습니다. HaGen을 역사상의 모든 항공 사고 보고서를 읽은 창의적인 작가라고 생각하십시오. 당신이 "맑은 날씨의 최종 접근 중에 비행기가 손상을 입는 이야기를 써줘"와 같이 구체적인 목표를 주면, HaGen은 두 가지 일을 수행합니다:

1. 뼈대를 구축합니다: 항공 규칙에 부합하는 구체적인 범주형 요소들(예: "밤", "결빙", "통신 두절")을 선택합니다.
2. 이야기를 씁니다: 이러한 요소들이 실제 생활에서 어떻게 전개되는지를 설명하는 상세한 서사를 생성하며, 이때 조종사와 관제사가 사용하는 기술적 언어를 사용합니다.

논문은 세 가지 서로 다른 AI 모델(Llama, Ministral, Phi)과 두 가지 서로 다른 질문 방식(질문만 던지는 Zero-Shot, 그리고 몇 가지 예시를 먼저 주는 Few-Shot)을 사용하여 HaGen을 테스트했습니다.

문제점: AI의 환각(Hallucinations)

여기에는 함정이 있습니다. HaGen은 글을 쓰는 데는 뛰어나지만, 때때로 사실 관계를 틀리곤 합니다. 실험 과정에서 AI는 가끔 불가능하거나 규칙에 맞지 않는 시나리오를 생성했습니다. 예를 들어, 하늘이 "맑다"고 했음에도 눈보라가 치는 상황을 묘사하거나, 존재하지 않는 비행기 부품을 만들어내기도 했습니다.

연구진은 단순히 AI에게 "창의적이 되라"고 요청하는 것(Zero-Shot)이 많은 실수를 유발한다는 것을 발견했습니다. 그러나 AI에게 좋은 이야기의 예시를 몇 가지 먼저 제공했을 때(Few-Shot 프롬프팅), 오류율이 현저히 감소했습니다. 실제로, 이 "Few-Shot" 방식으로 전환했을 때, 아무런 예시 없이 질문했을 때보다 구조적 정확도가 약 52% 향상되었습니다.

흥미롭게도, 연구진은 AI를 더 낫게 만들기 위해 특정 데이터셋으로 "미세 조정(fine-tuning)"을 시도했으나, 일부 모델에서는 오히려 상황을 악화시켜 더 자주 실패하게 만들었습니다. 가장 좋은 결과는 Llama 모델을 Few-Shot 방식으로 사용하고 미세 조정을 하지 않았을 때 나타났습니다.

해결책: HaGen+ (두 세계의 장점 결합)

저자들은 AI가 이야기를 쓰는 데는 능숙하지만, 사고의 "뼈대"를 구축하는 데 필요한 엄격한 논리에는 항상 능숙한 것이 아님을 깨달았습니다. 그래서 그들은 **HaGen+**를 만들었습니다.

HaGen+를 한 팀의 두 사람이라고 상상해 보십시오:

1. 설계자 (EVA): 이것은 매우 엄격하고 논리적인 특화된 알고리-즘입니다. 이 모델은 사고의 완벽한 뼈대를 구축하여 모든 요소가 서로 모순 없이 맞는지 확인합니다. 이 모델은 '진화적 추론(evolutionary abduction)'이라는 방법을 사용하는데, 이는 가장 그럴듯한 조합을 찾기 위해 수천 가지의 조합을 테스트하는 디지털 진화 과정과 같습니다.
2. 이야기꾼 (HaGen): 설계자가 뼈대를 구축하고 나면, HaGen이 바톤을 이어받아 그 주변의 서사를 작성합니다.

이 하이브리드 접근 방식은 가장 큰 문제를 해결했습니다. 설계자가 뼈대의 유효성을 보장하기 때문에, 이야기꾼은 불가능한 사실을 지어낼 걱정을 할 필요가 없습니다. 결과는 어떠했을까요? "HaGen+" 도구는 구조적 전용 방식(structured-only methods)의 최고 수준과 대등할 정도로 현실적인 시나리오를 만들어냈을 뿐만 아니라, 유효하지 않은 구조를 **제로(0)**로 만들었습니다. 또한 이야기의 일관성을 높여, 현실적으로 들리는 정도의 변동성을 83% 줄였습니다.

이것이 왜 중요한가

이 논문은 AI가 인간 안전 엔지니어를 대체할 수 있다고 주장하는 것이 아닙니다. 대신, AI가 루프 안에서 강력한 "조수"가 될 수 있음을 시사합니다. AI는 인간이 결코 생각하지 못할 수도 있는 수백 개의 그럴듯하고 상세한 시나리오를 빠르게 생성하여, 엔지니어가 숨겨진 위험을 발견하도록 도울 수 있습니다.

연구진은 자신들의 도구를 최첨단 구조적 사고 데이터 생성 방식(특히 진화적 탐색 및 인과 구조 발견에 기반한 방식)과 비교 테스트했으며, AI가 생성한 구조적 시나리오가 이러한 전용 비-AI 방식들에 의해 만들어진 것과 통계적으로 구별할 수 없을 정도로 유사하다는 것을 발견했습니다. 또한, 이 시스템은 생성된 각 시나리오를 가장 유사한 역사적 ASRS 보고서와 연결함으로써 '추적 가능성(traceability)'을 제공하며, 이는 해당 시나리오가 단순히 무작위적인 발명이 아니라 실제 패턴에 근거하고 있다는 증거를 제시합니다.

그러나 논문은 이것이 '예측'을 위한 수정구슬이 아니라 '탐색'을 위한 도구라는 점을 주의 깊게 명시하고 있습니다. AI는 "후보" 시나리오를 생성하는 것이며, 이는 반드시 인간 전문가의 검토를 거쳐야 합니다. 저자들은 이 도구가 실제 인증(FAA나 EASA와 같은 기관의 공식 승인)에 사용되려면, 인간이 항상 최종 결정권을 갖는 "Human-in-the-Loop(인간 참여형)" 시스템의 일부가 되어야 한다고 제듭니다.

요약하자면, 이 논문은 전통적인 알고리즘의 논리적 엄격함과 현대 AI의 창의적인 스토리텔링 능력을 결합함으로써, 우리가 더 나은 하늘의 안전망을 구축할 수 있음을 보여줍니다. 이것은 조종사나 엔지니어를 대체하려는 것이 아닙니다. 보이지 않는 위험을 실제로 발생하기 전에 미리 볼 수 있도록 돕는 초강력 조수를 제공하는 것입니다.