Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

당신이 수백만 개의 신문 기사 속에 숨겨진 특정 단어를 찾아내는 탐정이라고 상상해 보세요. 이는 지문 대신 단어를 쫓는 일입니다. 이것이 바로 컴퓨터 과학의 한 분야인 **자연어 처리(NLP)**의 세계입니다. 우리는 여기서 기계에게 인간의 언어를 읽고, 이해하고, 그 의미를 파악하는 법을 가르칩니다. NLP를 단순히 언어 간에 단어를 바꾸는 것을 넘어, 단어 뒤에 숨겨된 의미를 실제로 파악하는 초강력 번역기라고 생각해보세요. 이 탐정의 도구 상자에서 가장 유용한 도구 중 하나가 바로 **개체명 인식(NER)**입니다. 문장을 엉망으로 쌓인 레고 블록 더미라고 상상한다면, NER은 그 블록들을 즉시 "사람", "장소", "조직", "날짜"와 같이 깔끔한 더미로 분류하는 로봇 팔과 같습니다.

왜 로봇에게 단어를 분류하도록 가르치는 것에 관심을 가질까요? 세상이 정보로 넘쳐나고 있기 때문입니다. 매일 주식 시장부터 건설 현장에 이르기까지 모든 것에 관한 수천 건의 뉴스 기사가 작성됩니다. 인간이 특정 위험(예: 철강 부족이나 정치적 분쟁)을 찾기 위해 이 모든 것을 직접 읽는 것은 눈을 가린 채 건초더미에서 바늘 하나를 찾는 것과 같습니다. 여기서 **트랜스포머(Transformers)**가 등장합니다. 트랜스포머를 로봇이 아니라, 책 한 권을 한눈에 읽고 단어들이 서로 얼마나 떨어져 있든 상관없이 모든 단어가 어떻게 연결되는지 즉각적으로 이해하는 초집중 상태의 학생이라고 생각해보세요. 이 논문은 이 초집중 상태의 학생들을 활용하여 호주의 건설 산업이 안전을 유지하고 재앙을 피하도록 돕는 방법에 대해 다룹니다.

---

논문의 미션: 로봇에게 건설 뉴스 읽는 법 가르치기

호주의 건설 산업은 거대하고 복잡한 퍼즐과 같습니다. 수백 개의 공급업체, 엄격한 규칙, 그리고 전 세계에서 오는 자재들이 얽혀 있습니다. 때때로 이 퍼즐 조각들이 사라지거나 부서지면, 건물 프로젝트를 지연시키거나 비용을 과도하게 높이는 "공급망 리스크"가 발생합니다. 보통 전문가들은 이러한 리스크를 포착하기 위해 뉴스 기사를 수동으로 읽어야 합니다. 하지만 쏟아지는 뉴스의 양이 너무 많기 때문에, 이는 느리고 실수하기 쉽습니다.

이 논문은 다음과 같은 간단한 질문을 던집니다: 우리는 컴퓨터가 특히 호주의 건설 리스크를 찾는 데 있어 인간보다 더 빠르고 정확하게 이 뉴스 기사들을 읽도록 가르칠 수 있을까?

이 질문에 답하기 위해 연구진은 The Australian, Sky News, Bloomberg와 같은 출처에서 약 2,000개의 뉴스 기사를 수집했습니다. 그런 다음 컴퓨터가 텍st의 모든 중요한 단어에 라벨을 붙이는 사서 역할을 하도록 가르쳤습니다. 그들은 이름의 시작과 중간을 표시하는 것과 같은 "BIO" 태깅 시스템을 사용했습니다:

• B- (Beginning, 시작) 및 I- (Inside, 내부)는 이름의 시작과 중간을 나타냅니다 (예: "B-Company" 및 "I-Name").
• O (Outside, 외부)는 중요하지 않은 단어를 나타냅니다.

그들은 여섯 가지 특정 유형의 "스티커 메모"(개체)에 집중했습니다:

1. 사람 (PER)
2. 리스크 이벤트 (RRE) – 파업이나 지연 등.
3. 정치/국가 집단 (PNR)
4. 조직/공급업체 (OSC)
5. 지정학적 단위 (GPU) – 국가 또는 주와 같은 곳.
6. 건설 자재 (CMS) – 콘크리트나 철강 등.

39,500개의 개체에 라벨을 붙인 후, 연구진은 이 데이터를 일곱 가지 서로 다른 "트랜스포머" 모델(초집중 상태의 학생들)에 입력했습니다. 여기에는 BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA, T5, GPT-3와 같은 유명한 모델들이 포함되었습니다.

결과: 누가 독서 대회에서 우승했을까?

연구진은 어떤 모델이 리스크를 정확하게 식별할 수 있는지 테스트하기 위해 이 모델들을 시험에 부쳤습니다. 그들은 세 가지 점수를 사용하여 성공 여부를 측정했습니다: 정밀도(Precision) (식별된 리스크 중 실제 리스크는 얼마나 되는가?), 재현율(Recall) (실제 리스크 중 모델이 얼마나 많은 리스크를 찾아냈는가?), 그리고 F1-스코어(F1-score) (두 지표의 균형).

결과는 다음과 같습니다:

• 챔피언: RoBERTa가 최고의 성능을 보이며 우승했습니다. 이 모델은 평균 F1-스코어 0.8580을 달성했는데, 이는 모든 리스크를 찾아내면서도 실수를 최소화하는 균형을 가장 잘 맞췄음을 의미합니다. BERT가 0.8356으로 근소한 차이로 2위를 차지했습니다.
• "너무 까다로운" 모델: T5는 흥미로웠습니다. 가장 높은 정밀도(0.9924)를 기록했는데, 이는 모델이 리스크를 찾았다고 말할 때 거의 항상 옳았음을 의미합니다. 그러나 실제 리스크를 놓치는 경우가 매우 많았습니다 (재현율 0.3645로 낮음). 이는 쉬운 사건만 해결하고 나머지는 무시하는 탐정과 같습니다.
• 생성형 모델: 이야기 쓰기로 유명한 GPT-3는 이 특정 "찾기" 작업에서는 성과가 좋지 않았습니다. F1-스코어는 0.7518이었습니다. 논문은 GPT-3가 텍스트를 생성하도록 설계되었지, 텍스트의 특정 부분을 라벨링하도록 설계된 것이 아니기 때문이라고 설명합니다. 이는 마치 나사를 박는 데 망치를 사용하는 것과 같습니다. 작동은 할 수 있지만, 최적의 도구는 아닙니다.
• 경량급 영웅들: DistilBERT와 ALBERT는 RoBERTa보다 약간 정확도는 낮았지만, 훨씬 빠르고 적은 컴퓨터 자원을 필요로 했습니다. 이는 슈퍼컴퓨터 없이도 실행할 수 있는 좋은 옵션이 됩니다.

비법: 노브 조절하기

연구진은 단순히 모델을 선택하고 운에 맡긴 것이 아닙니다. 그들은 명확한 신호를 얻기 위해 라디오의 노브를 조절하는 것처럼 모델을 "미세 조정(fine-tuning)"하는 데 시간을 들였습니다. 그들은 다음 설정들을 테스트했습니다:

• 학습률 (Learning Rate): 모델이 학습하는 속도.
• 배치 크기 (Batch Size): 한 번에 읽는 뉴스 기사의 양.
• 옵티마이저 (Optimizers): 모델을 개선하기 위한 수학적 도구 (특히 Adam과 AdamW).

그들은 낮은 학습률(천천히 신중하게 학습하기)이 일반적으로 더 좋은 결과를 가져온다는 것을 발견했습니다. 또한 AdamW 옵티마이저가 표준 Adam 옵티마이저보다 모델 성능을 높이는 데 도움이 된다는 것을 발견했는데, 이는 특히 BERT와 ALBERT 모델에서 그러했습니다. 흥ًا, 거대한 덩어리로 읽는 것보다 더 작은 배치 크기(한 번에 더 적은 기사를 읽는 것)로 읽는 것이 더 효과적이라는 사실을 발견했는데, 이는 다소 놀라운 결과였습니다.

이것이 미래에 갖는 의미

이 논문은 이러한 AI 도구를 사용하는 것이 건설 리스크 관리에 있어 게임 체인저라고 결론짓습니다. 사람이 몇 시간 동안 뉴스를 읽는 대신, RoBERTa와 같은 모델은 수천 개의 기사를 몇 초 만에 스캔하여 "빅토리아주의 철강 부족"이나 "중국의 공급업체에 영향을 미치는 정치적 불안"과 같은 리스크를 표시할 수 있습니다.

저자들은 향후 이 기술이 프로젝트 관리 소프트웨어에 직접 통합될 수 있다고 제안합니다. 프로젝트 관리자가 자신의 특정 프로젝트에 대한 리스크가 언급된 뉴스 기사가 나올 때마다 "실시간 알림"을 받는 대시보드를 상상해 보세요. 이를 통해 지연이나 비용 초과가 발생하기 전에 문제를 해결할 수 있습니다.

하지만 논문은 또한 이것이 시작에 불과하다는 점도 명시하고 있습니다. 그들은 모든 가능한 모델(예: XLNet 또는 DeBERT)을 테스트하지 않았으며, 시스템을 더 똑똑하게 만들기 위해 더 많은 작업이 필요함을 인정했습니다. 그러나 핵심 메시지는 분명합니다. 컴퓨터에게 뉴스를 읽는 법을 가르침으로써, 우리는 호주의 건설 프로젝트를 더 안전하고 탄력적으로 만들 수 있습니다.