Correction removes what it monitors: a structural model of engineering realisation and the right-truncation of quality records

대규모 공학의 세계에서, 마이크로칩을 만드는 클린룸부터 연료를 정제하는 거대한 공장에 이르기까지, 성공은 종종 육안으로는 보이지 않는 일련의 사건들에 달려 있습니다. 그것은 요구사항의 집합, 즉 기계나 건물이 무엇을 해야 하는지에 대한 비전에서 시작하여, 현실 세계에 서 있는 물리적 객체로 끝이 납니다. 설계도와 완성된 구조물 사이에는 아이디어가 부품으로 분해되고, 연결되고, 조립되는 번역의 과정이 놓여 있습니다. 이 과정은 품질의 규칙에 의해 통제됩니다. 만약 부품이 완벽하게 맞지 않는다면, 그것은 수정되고, 다시 측정되며, 새로 교정된 측정값이 기록됩니다. 수십 년 동안 업계는 이러한 기록이 작업이 얼마나 잘 수행되고 있는지에 대한 진실한 모습을 제공한다는 가정하에 운영되어 왔습니다. 그 논리는 타당해 보입니다. 실패한 모든 항목이 통과할 때까지 수정된다면, 최종 측정값 목록은 모든 것이 허용 범위 내에 있는 세상을 보여줄 것이라는 논리입니다. 그러나 이 가정은 우리가 수집하는 데이터를 이해하는 방식에 내재된 구조적 결함을 숨기고 있습니다.

독립 연구자 양 리우(Yang Liu)의 새로운 연구는 이러한 근본적인 믿음에 도전하며, 실수를 바로잡는 행위 자체가 그 실수의 존재 증거를 지워버린다고 제안합니다. 이 연구는 엔지니어가 허용 오차를 벗어난 부품을 교정할 때, 단순히 제품을 개선하는 것이 아니라, 그 제품을 만들어낸 프로세스에 대한 가장 중요한 정보를 삭제하는 것이라고 시사합니다. 저자는 공학 프로젝트가 실현되는 방식을 구조적 모델로 구축하고 이를 컴퓨터 시뮬레이션으로 테스트함으로써, 표준적인 품질 데이터 기록 방식이 사각지대를 만든다는 것을 입증합니다. 우리가 보유한 기록은 현실의 무작위 샘플이 아닙니다. 그것은 가장 극단적인 오류들이 외과적으로 제거된 필터링된 버전입니다. 이러한 제거는 우리의 위험 이해를 왜곡하며, 불안정한 프로세스를 안정적인 것처럼 보이게 만들고 건설 및 제조 현장을 괴롭히는 문제들의 진정한 본질을 은폐합니다.

이 논문은 요구사항에서 물리적 객체에 이르기까지 프로젝트의 여정을 6개의 뚜렷한 단계, 즉 레지스터(register)의 프레임워크를 사용하여 매핑하며 시작합니다. 이 단계들은 신체와 그 연결이 아이디어로만 존재하는 정적인 설계의 세계에서, 그 아이디어들이 시간과 공간 속에서 형체를 갖추어 가는 진화하는 건설의 세계로, 그리고 마지막으로 안전과 계약 규칙이 불가능한 결과들을 쳐내는 제약의 영역으로 이동합니다. 저자는 이 과정에서 특정한 간극을 식별합니다. 설계상으로는 시스템이 완벽하게 연속적으로 보일 수 있지만, 현실 세계에서는 조립이 불가능할 수 있다는 점입니다. 수학적 용어로 이는 위상적 결함(topological defect)이라 불리며, 국소적인 연결은 잘 작동하지만 전역적인 루프가 닫히지 않는 상황을 의미합니다. 이는 숙련도 부족이나 점검 미비의 문제가 아닙니다. 이는 설계 자체에 내재된 구조적 불가능성입니다. 본 연구는 필드를 세 가지 구성 요소인 구조를 나타내는 것, 변화를 나타내는 것, 그리고 변하지 않는 제약을 나타내는 것으로 분해하는 방법을 사용하여, 이러한 실패 모드가 단순한 조정 오류가 아니라 정밀하고 측정 가능한 설계의 속성임을 보여줍니다.

그러나 이 논문의 핵심 발견은 품질 관리 점검 후에 일어나는 일에 있습니다. 일반적인 산업 현장에서 측정값이 허용 오차를 벗어나면, 해당 품목은 재작업됩니다. 그것은 조정되고, 다시 측정되며, 새로운 값이 데이터베이스에 저장됩니다. 원래의 실패한 측정값은 폐기됩니다. 저자는 이 관행이 "우측 절단(right-truncated)"된 기록을 만든다고 주장합니다. 프로젝트 중에 수행된 모든 측정값의 히스토그램을 상상해 보십시오. 표준 관행은 큰 오류들이 존재하는 그래프의 오른쪽 부분을 잘라내고, 그 자리를 한계치 바로 안쪽에 위치하는 값들로 대체합니다. 따라서 분포의 꼬리 부분, 즉 일이 얼마나 자주 그리고 얼마나 심하게 잘못되는지를 보여주는 부분이 제거되기 때문에, 남은 데이터에 대해 수행되는 모든 통계 분석은 근본적으로 결함이 있습니다. 데이터는 더 이상 오류의 모집단을 나타내는 것이 아니라, 통과할 수 있을 만큼 작았거나 성공적으로 수정된 오류의 모집단만을 나타내게 됩니다.

이러한 왜곡은 구체적이고 위험한 결과를 초래합니다. 그것은 프로세스의 인지된 안정성을 부풀립니다. 연구는 꼬리 지수(tail index)라고 알려진 통계적 척도에 집중하는데, 이는 분포의 꼬리가 얼마나 두꺼운지를 설명합니다. 낮은 지수는 프로세스가 크고 예측 불가능한 편차를 겪기 쉽다는 것을 의미하며, 높은 지수는 더 안정적이고 예측 가능한 프로세스를 시사합니다. 이 논문을 위해 실행된 시뮬레이션에서, 실제 꼬리 지수가 1.8(큰 오류의 위험이 높음을 나타냄)인 프로세스는 재작업 및 재측정 주기 이후 7.26의 지수를 가진 것으로 기록되었습니다. 이는 엄청난 변화입니다. 실제로 가장 불안정한 시스템이 가장 안정적인 것처럼 보입니다. 이 오류는 숫자의 무작위한 흩어짐이 아닙니다. 그것은 최악의 프로세스를 가장 우수한 프로세스로 보이게 만드는 체계적인 편향입니다. 이러한 순위 역전은, 이러한 기록에 의존하는 품질 시스템이 의도치 않게 가장 위험한 프로세스에 보상을 주고 가장 안정적인 프로세스에 불이익을 주게 만듭니다. 위험한 프로세스들은 그들의 최악의 데이터 포인트들이 편집되었기 때문입니다.

연구는 단순히 더 많은 데이터를 수집하는 것이 왜 문제를 해결하지 못하는지를 추가로 탐구합니다. 수정 전의 원래 값이 손실된다면, 방대한 양의 샘플이 있더라도 꼬리 지수를 정확하게 복구하는 것은 불가능합니다. 연구는 꼬리 지수의 불확실성 구간이 너무 넓어서, 프로세스가 계속 진행해도 될 만큼 안전한지 여부와 같은 중요한 결정을 내리는 데 사용할 수 없음을 보여줍니다. 데이터는 단순히 노이즈가 섞인 것이 아니라, 정보 자체가 누락된 것입니다. 논문은 해결책이 더 나은 수학 공식이나 더 큰 샘설 크기가 아니라, 무엇을 기록할 것인가의 변화라고 주장합니다. 저자는 간단한 스키마 구제책을 제안합니다. 모든 측정값에 대해, 서로 덮어쓸 수 없는 두 개의 값을 저장해야 한다는 것입니다. 첫 번째 값은 수정이 이루어지기 전의 초기 측정값이며, 두 번째는 재작업 후의 값입니다. 초기 실패 측정값을 보존함으로써, 기록은 오류 분포의 진정한 형태를 유지하여 엔지니어가 실제 위험을 볼 수 있게 합니다.

또한 논문은 품질 코드와 표준의 역할을 다룹니다. 흔히 이러한 코드들이 작업의 품질을 향상시키는 관문 역할을 한다고 가정됩니다. 연구는 엄격한 코드가 적용된 작업과 그렇지 않은 작업을 비교하는 것이 오해의 소지가 있다고 제안합니다. 왜냐하면 두 그룹은 비교 가능하지 않기 때문입니다. 엄격한 코드는 대개 가장 중요하고 자원이 풍부한 프로젝트에 적용됩니다. 대신, 저자는 규칙 변경 전후의 초과율(exceedance rate), 즉 허용 오차를 충족하지 못하는 항목의 비율을 확인하거나, 동일한 유형의 작업에 대해 집행 강도를 변화시킴으로써 코드의 효과를 테스트할 것을 제안합니다. 시뮬레이션에 따르면, 이러한 비율의 실제 차이를 감지하려면 산업계 연구에서 흔히 사용되는 수백 개가 아니라, 그룹당 약 2,000개의 아이템과 같은 훨씬 더 큰 샘플 크기가 필요합니다.

마지막으로, 이 연구는 이러한 공학적 발견을 기계와 모델이 세상을 이해하는 방식에 관한 더 넓은 질문으로 연결합니다. 저자는 공학 설계의 구조적 간극과 인공지능 모델이 정보를 처리하는 방식 사이의 평행 이론을 이끌어냅니다. 설계가 서류상으로는 연속적으로 보이지만 조립에 실패할 수 있는 것처럼, 머신러닝 모델은 관찰하고 있는 공간의 기저 구조를 진정으로 이해하지 못한 채 비디오의 다음 프레임을 예측할 수 있습니다. 논문은 3차원 공간을 진정으로 이해하기 위해서는 공학 모델에서 사용된 분해와 마찬가지로, 데이터를 구조적, 진화적, 제약적 구성 요소로 분리하는 능력이 필요하다고 제안합니다. 이 논문이 AI를 위해 이 문제를 해결했다고 주장하는 것은 아니지만, 테스트 가능한 기준을 설정합니다. 즉, 이러한 구성 요소들을 분리할 수 있는 모델은 그렇지 못한 모델보다 세상에 대해 더 깊고 견고한 이해를 갖추고 있을 가능성이 높다는 것입니다.

이 연구의 함의는 실무적이고 즉각적입니다. 저자는 현재의 실패 측정값 덮어쓰기 관행이 단순한 행정적 습관이 아니라, 조직이 스스로의 위험을 보는 것을 방해하는 구조적 결함이라고 결론짓습니다. 해결책은 복잡하지 않습니다. 초기 측정값을 수정된 값과 함께 보존하도록 데이터 스키마를 변경하는 것입니다. 이 간단한 단계 없이는, 기록은 그것이 수집된 목적에 대한 답을 할 수 없습니다. 즉, "이 프로세스는 얼마나 신뢰할 수 있는가?"라는 질문입니다. 이 연구는 업계가 망가졌다고 주장하는 것이 아니라, 성능을 바라보는 렌즈가 왜곡되어 있다고 말합니다. 기록 방식을 교정함으로써, 엔지니어들은 거짓된 낙관주의 상태에서 벗어나 직면한 과제들을 명확하고 정확하게 이해할 수 있으며, 현대 공학이 요구하는 정밀도로 위험을 관리할 수 있게 될 것입니다.