Understanding: reframing automation and assurance

1. 문제 제기 (Problem)

이 논문은 현대의 사회 - 기술 시스템 (socio-technical systems) 과 특히 AI 기반 시스템의 보증 (Assurance) 및 안전성 (Safety) 평가에서 '이해 (Understanding)'의 부재가 심각한 위험 요소로 대두되고 있음을 지적합니다.

• 보증 사례 (Assurance Cases) 와 이해의 단절: 기존의 보증 사례는 문서 생산과 형식적 완결성에 집중하여, 실제 시스템의 동작, 증거, 가정, 잔여 위험에 대한 인간의 진정한 이해 (genuine human comprehension) 와는 동떨어진 채 운영될 위험이 있습니다.
• 자동화와 AI 의 역설: 자동화 도구와 AI 생성 아티팩트 (artefacts) 는 문서 생산 속도와 일관성을 높이지만, 개발자, 평가자, 의사결정자가 시스템과 그 위험을 얼마나 깊이 이해하는지는 오히려 약화시킬 수 있습니다.
• 인지적 편향과 '설명 깊이 환상 (Illusion of Explanatory Depth)': 리뷰어들은 유창하게 생성된 자동화 출력물이나 일관성 있는 문서가 실제 이해를 반영한다고 오인할 수 있습니다. 이는 시스템이 복잡해졌을 때 가상의 설명력을 가진 채 실제 메커니즘을 설명하지 못하는 '지식 부채 (Epistemic Debt)'를 축적하게 만듭니다.
• 핵심 질문: 자동화가 보증 아티팩트의 생산 효율성을 높이는지 (효율성) 보다, 해당 아티팩트가 인간의 책임 있는 의사결정을 위한 진정한 이해를 지원하거나 훼손하는지 (인식적 질) 가 더 중요한 문제입니다.

2. 방법론 (Methodology)

저자는 철학적 기반을 공학적 프레임워크로 전환하여 '이해'를 명시적이고 평가 가능한 요소로 만드는 방법론을 제시합니다.

• 철학적 기반 (Catherine Elgin 의 인식론):

  • 그립 (Grasp): 단순한 사실 암기가 아닌, 정보를 활용하여 추론, 설명, 예측, 행동할 수 있는 상태.
  • 이유의 직물 (Fabric of Understanding): 선형적인 증거 - 결론 연결이 아닌, 상호 지지하는 일관된 신념의 네트워크 (직물).
  • 행운의 거짓말 (Felicitous Falsehoods): 엄밀한 진리는 아니지만, 목적에 맞게 시스템을 단순화하거나 이상화하여 핵심 구조를 드러내는 모델의 유용성.
  • 반성적 균형 (Reflective Equilibrium): 증거, 주장, 가정이 서로 조화를 이루며 수정 가능한 상태.
  • 실례화 (Exemplification): 추상적인 주장이 실제 세계 (테스트 결과, 사례 등) 와 어떻게 연결되는지 보여주는 장치.
  • 아렌트의 단절 (Arendtian Rupture): 기존 프레임워크가 통하지 않는 예외적 상황 (단절) 을 인정하고 재평가하는 과정.

• 공학적 프레임워크 (Assurance 2.0 적용):

  • 위 철학적 개념을 Assurance 2.0의 구조 (구조화된 논증, 증거, 확신, 반박 등) 에 매핑합니다.
  • 두 가지 핵심 아티팩트 도입:
    1. 이해의 기반 (Understanding Basis): 특정 의사결정에 대해 현재 이용 가능한 이해가 충분한 이유를 정당화하는 구조화된 문서. (어떻게 증거가 연결되었는지, 이상화는 어떻게 처리되었는지, 반박 가능성은 무엇인지 명시).
    2. 개인적 이해 진술서 (Personal Understanding Statement): 의사결정자나 개발자가 자신의 이해 수준, 남은 의문, 그리고 그 이해가 어떻게 검증되었는지를 명시적으로 서술하는 반성적 문서.
  • 설계된 마찰 (Designed Friction): 자동화 도구가 출력을 생성할 때, 리뷰어가 수동으로 복잡한 논리를 재검토하고 설명하도록 유도하는 의도적인 지연 및 질문 장치를 도입하여 피상적인 수용을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 보증 실무의 실패 모드 진단: 자동화가 보증 문서 생산을 가속화하면서 인간의 이해를 약화시키는 '생산 중심' 프레임의 위험을 지적하고, 이를 '이해 중심' 프레임으로 전환할 것을 주장합니다.
2. 이해의 명시적 객체화: Elgin 의 인식론을 활용하여 '이해'를 보증의 핵심 구성 요소로 정의하고, 이를 공학적으로 평가 가능한 형태로 구체화했습니다.
3. Assurance 2.0 과의 통합: 구조화된 논증, 확신 (confidence), 반박 (defeater), 이론 기반 자동화를 재설계하여 인간의 책임 있는 이해를 지원하도록 하는 구체적인 아티팩트 (Understanding Basis, Personal Understanding Statement) 를 제안했습니다.
4. 자동화 평가의 새로운 기준: 자동화 도구의 성공을 '생산 속도'가 아닌 '인간 리뷰어의 인식적 grasp(그립) 을 강화하는지'로 평가해야 한다는 기준을 제시했습니다.

4. 결과 및 분석 (Results & Analysis)

논문의 연구는 아직 진행 중 (work in progress) 이지만, 다음과 같은 가설과 분석 결과를 도출했습니다.

• 자동화 이점 가설 트리 (Hypothesis Tree): 자동화가 오류 감소, 생산 속도 향상, 편차 제거 등을 가져올 수 있음을 인정합니다.
• 주요 반박 (Defeaters) 식별: 자동화 도입 시 발생할 수 있는 5 가지 주요 위험을 식별했습니다.
  1. LLM 의 불신뢰성: 논리적으로 그럴듯하지만 틀린 구조 생성.
  2. 이론의 부재 (Theory Scarcity): 재사용 가능한 형식 이론이 없으면 자동화 효율성 없음.
  3. 이론의 불투명성 (Theory Opacity): 자동화된 이론을 검증하는 데 필요한 이해도가 원본 논증 검토보다 더 어려울 수 있음.
  4. 검토 역학의 저하: 자동화된 출력을 수동으로 검토하는 과정에서 발생하는 사회적 논의와 통찰이 사라질 위험.
  5. 실제 세계와의 연결 상실 (Tethering Loss): 내부적으로 일관된 아티팩트가 실제 운영 환경과 단절될 위험.
• 핵심 통찰: 자동화 도구가 아티팩트를 정확하고 완전하게 생성하더라도, 리뷰어가 논증을 비판하고 해석하며 책임을 질 능력이 훼손된다면 이는 순손실 (net loss) 이 될 수 있습니다.

5. 의의 및 중요성 (Significance)

• 거버넌스 및 정책적 영향: 규제 기관, 조달 담당자, 감사자 등이 보증 문서를 단순히 존재 유무가 아닌, 그 문장이 가정, 불확실성, 잔여 위험을 어떻게 드러내고 있는지 '이해'의 질로 평가할 수 있게 합니다.
• 책임성 확보: AI 시대에 '설명 가능한 AI (XAI)'를 넘어, 시스템 보증 과정 자체에 대한 인간의 '이해 가능성'을 보장함으로써 책임 있는 의사결정과 책임 소재 (Accountability) 를 확립합니다.
• 미래 지향성: 급변하는 기술 환경 (AI, 복잡한 시스템) 에서 예상치 못한 실패 (Rupture) 에 대응할 수 있는 유연한 사고와 재평가를 가능하게 합니다.
• 실용적 도구: '이해의 기반'과 '개인적 이해 진술서'는 단순한 문서가 아니라, 시스템의 안전성과 신뢰성을 입증하는 살아있는 도구로 작용하여, 표면적으로 일관된 서술 뒤에 숨겨진 약점을 드러내는 데 기여합니다.

결론적으로, 이 논문은 자동화와 AI 가 보증 프로세스를 어떻게 변화시키든, 그 핵심은 인간이 시스템을 얼마나 깊이 이해하고 책임질 수 있는가에 있어야 하며, 이를 위해 철학적 통찰을 공학적 실천으로 구체화하는 새로운 프레임워크를 제안합니다.