LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

인공지능의 세계에서 대규모 언어 모델은 방대한 양의 정보를 읽고, 쓰고, 요약하는 데 매우 능숙해졌습니다. 이들은 복잡한 과학 이론을 설명하고, 법률 문서를 초안하며, 심지어 코드를 작성할 수도 있습니다. 그러나 이 시스템에는 근본적인 사각지대가 존재합니다. 바로 이미 기록되어 학습 데이터에 입력된 지식만을 다룰 수 있다는 점입니다. 이미 기록되지 않은 직관, 특정 조직의 맥락, 또는 한 번도 기록된 적 없는 독특한 상황의 조합에 의존해야 하는 결정을 마주했을 때, 모델은 단순히 모른다고 인정하는 대신, 확신에 찬 틀린 답을 만들어내곤 합니다. 이를 '환각(hallucination)'이라 불리는 현상이라고 합니다. 이것은 더 많은 문서를 검색한다고 해서 해결될 수 있는 오류가 아니라, 구조적인 한계입니다. 데이터베이스에 지식이 존재하지 않는다면, 기계는 그것을 찾아낼 수 없습니다. 의학, 국가 안보, 연구 자금 지원과 같은 분야의 고위험 결정에서, 기계가 아는 것과 인간 전문가가 아는 것 사이의 이러한 간극은 위험할 수 있습니다.

연구자 보리스 코발레르축크(Boris Kovalerchuk)와 브렌트 D. 페글리(Brent D. Fegley)는 이 간극을 메우기 위한 새로운 방법을 제안했습니다. 인공지능을 더 똑똑하게 만들거나 더 많은 책을 읽히는 대신, 그들은 인간 전문가가 실제로 어떻게 생각하는지에 대한 구체적이고 구조화된 지도, 즉 '전문가 정신 모델(Expert Mental Model)'을 구축할 것을 제 제안합니다. 핵심 아이디어는 기계에게 정답을 추측하라고 요구하는 것을 멈추고, 대신 기계를 전문가가 자신의 의사결정 논리를 명확히 표현하도록 돕는 도구로 사용하는 것입니다. 인간의 직관적 판단을 명확하고 단계적인 규칙 세트로 변환함으로써, 시스템은 환각을 일으킬 필요 없이 새로운 상황에 그 규칙들을 적용할 수 있습니다. 이 접근 방식은 문제를 기계의 기억력 실패가 아니라, 인간의 특정한 추론 과정을 포착하지 못한 실패로 취급합니다.

연구진은 이 아이디어를 세 가지 매우 다른 분야에서 테스트했습니다: 연구 제안서 신청 여부 결정, 사이버 보안 시스템 설계, 그리고 임상 진단 수행. 첫 번째 시나리오에서 연구팀은 자금 지원 기관에 제안서를 쓰는 데 몇 달을 소비할지 결정해야 했습니다. 이 결정은 팀이 적절한 기술을 보유했는지, 프로젝트가 기관의 목표에 부합하는지, 충분한 시간이 있는지와 같은 많은 요인에 달려 있었습니다. 표준적인 인공지능은 질문 목록을 생성할 수는 있지만, 그 답변들의 가중치를 어떻게 둘지는 결정할 수 없습니다. 만약 팀이 기술 보유에는 "예"라고 답하고 예산 확보에는 "아니오"라고 답한다면, 기계는 프로젝트가 여전히 실행 가능하다거나 혹은 불가능하다고 멋대로 추측할 수 있습니다. 기계는 이 특정 팀에게는 예산이 결정적인 결격 사유가 될 수 있는 반면, 다른 팀에게는 사소한 장애물이 될 수 있다는 사실을 알 방법이 없습니다.

이를 해결하기 위해 연구진은 단순한 원리에 기반한 방법을 사용했습니다. 만약 어떤 상황이 "예"라고 말하기에 충분히 좋다면, 그 상황의 어떤 부분을 더 개선한다고 해서 결과가 "아니오"로 바뀌어서는 안 된다는 원리입니다. 이를 '단조성(monotonicity)'이라고 합니다. 전문가 팀이 프로젝트에 대해 일련의 예/아니오 질문에 답한다고 가정해 봅시다. 만약 그들이 아이디어는 훌륭하지만 돈이 없는 프로젝트를 "아니오"라고 결정했다면, 훌륭한 아이디어와 돈이 없으면서 동시에 팀원까지 없는 프로젝트 역시 반드시 "아니오"가 되어야 합니다. 이 논리를 사용함으로써 연구진은 전문가에게 통상적으로 요구되는 것보다 훨씬 적은 수의 질문을 던질 수 있었습니다. 모든 가능한 조합(복잡한 결정의 경우 수백만 개에 달할 수 있음)에 대해 질문하는 대신, 신중하게 선택된 질문 세트를 던졌습니다. 이 질문들에 대한 답변을 통해 그들은 수천 개의 다른 시나리오에 대한 답을 자동으로 추론할 수 있었습니다.

연구진은 연구 제안서 예시에서 20개의 잠재적 질문으로 시작했습니다. 인공지능은 이 질문들을 계층적으로 조직하고 관련 질문들을 그룹화하는 데 도움을 주었습니다. 그런 다음 인간 전문가는 소수의 일반화된 질문에 답했습니다. 예를 들어, 자원에 관한 모든 세부 사항에 답하는 대신, 전문가는 팀이 준비되었는지와 같은 포괄적인 질문에 답할 수 있습니다. 만약 답이 "아니오"라면, 시스템은 즉시 더 이상의 세부 사항이 필요 없음을 알게 됩니다. 만약 "예"라면, 시스템은 구체적인 세부 사항으로 파고듭니다. 단 네 번의 질문 단계를 통해, 연구진은 가능한 모든 시나리오의 60% 이상에 대한 전문가의 결정 논리를 파악할 수 있었습니다. 나머지 시나리오들은 판단이 모호한 어려운 경계 사례들에 밀집되어 있었는데, 바로 그 지점이 인간의 판단력이 가장 가치 있게 발휘되는 곳입니다.

연구진은 또한 정부 표준에 의해 규칙이 정의되는 사이버 보안 분야에서도 이 방법을 테스트했습니다. 이 경우 인공지능은 문서에서 표준 규칙을 추출할 수는 있지만, 특정 조직의 특정 데이터에 그 규칙을 적용하기 위해서는 여전히 인간 전문가가 필요했습니다. 시스템은 전문가가 특정 네트워크에 대한 보안 침해의 영향을 결정하도록 도왔으며, 모호한 우려 사항을 구조화된 모델로 변환했습니다. 세 번째 분야인 의료 분야에서 연구진은 유방암 진단에 유사한 방법이 사용된 과거 연구들을 검토했습니다. 그들은 이 구조화된 접근 방식을 통해 영상의학 전문의로부터 직접 결정 규칙을 추출했을 때, 결과적인 모델이 순수하게 데이터만으로 구축된 모델보다 더 정확하고 일관적이라는 것을 발견했습니다. 이 모델들은 특정 요인들로 거슬러 올라가 왜 그런 결정이 내려졌는지 설명할 수 있었으며, 이는 시스템을 신뢰해야 하는 의사들에게 매우 중요한 요소입니다.

이 작업의 핵심적인 부분은 인공지능이 스스로 내버려 두었을 때 얼마나 자주 틀리는지를 측정하는 것이었습니다. 연구진은 인간 전문가의 결정과 인공지계의 추측을 비교하는 시뮬레이션을 만들었습니다. 그들은 전체 오류율은 작아 보일지라도, 실수가 가장 중요한 사례들에 집중되어 있다는 것을 발견했습니다. 전문가가 프로젝트에 대해 "예"라고 답했을 상황에서, 인공지능은 종종 "아니오"라고 답하며 기회를 놓쳤습니다. 일부 시뮬레이션에서 이러한 기회 상실에 대한 오류율은 100%에 육박했습니다. 이는 환각의 위험이 단순히 무작위적인 실수를 하는 것이 아니라, 특정한 미기록 지식이 필요한 희귀하고 가치 높은 사례들을 체계적으로 인식하지 못하는 데 있음을 드러냈습니다.

연구진은 해결책이 인공지능을 인간처럼 만드는 것이 아니라, 인공지능을 사용하여 인간이 자신의 사고를 인코딩하도록 돕는 것이라고 주장합니다. 기계는 요인 목록을 생성하고, 이를 논리적 그룹으로 조직하며, 일관성을 확인하는 데 탁월합니다. 하지만 특정 팀이나 조직에 무엇이 중요한지는 알지 못합니다. 이 둘을 결합함으로써, 시스템은 계산적으로 효율적이면서도 실제 인간의 전문성에 근거한 의사결정 지원 도구를 만듭니다. 인공지능은 구조와 조직이라는 힘든 작업을 처리하고, 인간은 결정에 의미를 부여하는 구체적인 가치와 논리를 제공합니다.

이 접근 방식은 또한 모든 사람이 동일한 인공지능을 사용하기 때문에 모두가 똑같은 방식으로 결정을 내리기 시작하는 '인지적 균질화(cognitive homogenization)'라는 미묘한 위험을 방지합니다. 조직이 일반적인 모델에만 의존한다면, 그들은 자신들만의 독특한 관점과 경험에서 오는 구체적인 통찰력을 잃을 수 있습니다. 자신들만의 '전문가 정신 모델'을 구축함으로써, 조직은 고유한 사고방식을 보존할 수 있습니다. 이 모델은 집단적 지혜의 휴대 가능한 기록이 되어, 모델을 만든 전문가가 조직을 떠나더라도 살아남게 됩니다. 이는 의사결정 과정이 누구도 설명할 수 없는 블랙박스가 되는 대신, 투명하고 책임감 있게 유지되도록 보장합니다.

이 연구가 모든 문제를 해결했다고 주장하는 것은 아닙니다. 이 방법은 결정 논리가 '상황을 개선하는 것이 결과를 악화시키지 않는다'는 원칙을 따를 때 가장 잘 작동합니다. 또한 전문가가 자신의 생각을 명확히 설명하는 데 시간을 할애할 의지가 있어야 하며, 이는 도전 과제가 될 수 있습니다. 어떤 경우에는 전문가가 구체적인 세부 사항을 보지 않고 추상적인 질문에 답하는 것을 어려워할 수 있으며, 시스템은 이러한 불확실성을 처리할 수 있을 만큼 유연해야 합니다. 나아가, 연구진은 이 방법이 시뮬레이션과 과거 연구 검토를 통해 테스트되었지만, 실제 임상 현장이나 실제 연구 제안서에서 어떻게 작동하는지 확인하기 위해 더 많은 실세계 테스트가 필요하다는 점을 인정합니다.

이러한 한계에도 불구하고, 이 연구 결과는 중요한 분야에서 인공지능을 사용하는 명확한 경로를 제시합니다. 핵심 통찰은 기계가 결정권자가 되어서는 안 된다는 것입니다. 대신, 기계는 인간의 판단을 정확하게 포착하는 구조를 구축하도록 돕는 의사결정 과정의 설계자가 되어야 합니다. 그렇게 함으로써 환각의 덫을 피하고, 강력하면서도 신뢰할 수 있는 도구를 제공할 수 있습니다. 그 결과, 이 시스템은 전문가를 대체하는 것이 아니라, 복잡하고 불확실한 상황 속에서도 건전하고 일관되며 설명 가능한 결정을 내릴 수 있도록 전문가의 능력을 증폭시킵니다.