A Cautionary Evaluation of LLMs for TLS Normative Requirement Classification

인터넷은 우리의 개인적인 메시지, 은행 거래, 이메일을 엿보는 눈으로부터 안전하게 지키기 위해 '전송 계층 보안(Transport Layer Security)' 또는 TLS라고 불리는 디지털 악수(handshake)에 의존합니다. 이 시스템은 데이터를 암호화하고 복호화하는 방법에 대한 특정 규칙 세트를 합의하는 방식으로 작동합니다. 이 규칙들은 즉흥적으로 만들어지는 것이 아니라, 기술 표준이라고 알려진 방대한 양의 복잡한 문서에 기록되어 있습니다. 이 문서들은 엔지니어들에게 어떤 규칙이 필수적이고, 어떤 것이 단순한 제안이며, 어떤 것이 금지된 것인지를 정확하게 알려줍니다. 사용되는 언어는 매우 정밀하고 법률적이며, 규칙의 강도를 정의하기 위해 "must(해야 한다)", "should(해야 한다/권고된다)", "may(할 수 있다)"와 같은 특정 단어들에 의존합니다. "must"는 타협할 수 없는 규칙을 의미하는 반면, "may"는 선택 사항임을 의미합니다. 하지만 텍text는 매우 까다로워질 수 있는데, 매우 특정한 비상 상황이 발생할 때까지 특정 행위를 지양하라는 식의 조건부 문구와 이 단어들을 혼용하기 때문입니다. 보안 전문가들에게 이 규칙들을 정확하게 파악하는 것은 안전의 문제입니다. 제안을 허가로 잘못 읽는 것은 시스템을 공격에 무방비로 노출시킬 수 있기 때문입니다.

수년 동안, 이 수천 페이지의 텍스트를 컴퓨터가 이해할 수 있는 체크리스트로 바꾸는 유일한 방법은 인간 전문가가 모든 줄을 읽고 수동으로 규칙을 번역하는 것이었습니다. 이 과정은 느리고 비용이 많이 들며 인간의 실수에 취약합니다. 최근에는 인간의 언어를 놀라운 기술로 읽고 이해할 수 있는 대규모 언어 모델(Large Language Model)이라는 새로운 유형의 컴퓨터 프로그램이 등장했습니다. 이 모델들은 질문에 답하고, 텍스트를 요약하며, 심지어 코드를 작성할 수도 있습니다. 이는 사이버 보안 세계에 희망적인 질문을 던졌습니다. 이 똑똑한 프로그램들이 보안 표준을 읽고 어떤 규칙이 어떤 디지털 연결에 적용되는지 자동으로 파지하여, 전문가들의 수개월 치 업무를 줄여줄 수 있을 것인가 하는 점입니다. 이탈리아의 폰다지오네 브루노 케슬러(Fondazione Bruno Kessler)의 연구진은 이 기술이 이야기를 쓰기 위한 것이 아니라, 단 한 번의 실수가 인터넷 전체의 보안을 위협할 수 있는 과업을 수행할 수 있는지 테스트하기 위해 이 아이디어를 시험해 보았습니다.

연구진은 TLS가 어떻게 구성되어야 하는지를 규정하는 NIST SP 800-52라는 주요 보안 표준의 특정 섹션에 집중했습니다. 그들은 보안 통신의 구성 요소인 '사이퍼 스위트(cipher suites)'라고 불리는 144개의 구체적인 디지털 연결 패턴 데이터셋을 선택했습니다. 그들의 목표는 대규모 언어 모델이 각 패턴의 상태를 올바르게 식별할 수 있는지 확인하는 것이었습니다. 즉, 해당 패턴이 엄격한 요구 사항인지, 권고 사항인지, 허가 사항인지, 아니면 금지 사항인지를 구분하는 것입니다. 공정하고 엄격한 테스트를 위해, 그들은 단순히 모델에게 추측하게 하지 않았습니다. 대신, 모델이 단계별로 사고하도록 강제하는 시스템을 구축했습니다. 그들은 모델에게 핵심 단어들의 정확한 정의를 제공했고, 텍스트 검토, 키워드 찾기, 부정어 확인, 그리고 최종 결정에 이르는 6단계 논리 경로를 따르도록 요청했습니다. 결과의 견고함을 보장하기 위해, 연구진은 이 테스트를 네 가지 서로 다른 대규모 언어 모델에 실행했으며, 성능이 우수한 모델에 더 높은 가중치를 주는 투표 시스템을 사용하여 답변을 결합했습니다.

결과는 놀라운 능력과 냉혹한 한계가 섞여 있었습니다. 시스템은 약 94%의 사례에서 정답을 맞히는 데 충분히 잘 작동했습니다. 이는 단일 모델을 단독으로 사용하는 것보다 약간 개선된 수치로, 여러 모델의 '의견'을 결합하는 것이 개별 모델의 특이점을 완화할 수 있음을 증명했습니다. 그러나 연구진은 이 정도의 정확도가 많은 작업에는 적합할지 몰라도, 보안 준수(compliance) 측면에서는 충분하지 않다는 것을 발견했습니다. 사이버 보안의 세계에서 6%의 오류율은 재앙과 같습니다. 만약 도구가 시스템을 감사하는 데 사용되었는데 단 하나의 금지된 규칙이라도 놓친다면, 그 시스템은 알려진 취약점을 가진 채 배포될 수 있기 때문입니다. 연구는 모델들이 무작위로 실패하는 것이 아니라, 매우 구체적이고 예측 가능한 방식으로 실패하고 있음을 보여주었습니다.

문제의 지점은 표준 언어에 담긴 미묘하지만 결정적인 차이였습니다. 모델들은 "절대로 필요한 경우가 아니라면 이것을 하지 마시오"라는 규칙과 "당신은 이것을 할 수 있다"라는 규칙 사이의 차이를 구별하는 데 어려움을 겪었습니다. 표준의 기술적 언어에서 전자는 엄격한 조건 하에서만 허용되는 '지양되는 규칙'인 반면, 후자는 단순한 '허가'입니다. 연구진은 모델들이 저지른 실수의 절반 이상이 이 두 범주를 혼동하는 것과 관련이 있다는 것을 발견했습니다. 모델들은 특정 관행을 지양하면서도 비상시에는 허용한다는 문장을 읽고, 그 '허용' 부분만을 핵심 메시지로 해석하여 '지양'이라는 경고를 간과했습니다. 즉, 허가는 보았지만 조건은 놓친 것입니다.

이러한 실패는 연구진이 구축한 단계별 사고 과정으로도 해결되지 않았습니다. 모델들이 자신의 추론 과정을 직접 쓰도록 강제했음에도 불구하고, 여전히 동일한 실수를 저질렀습니다. 모델들은 "권장되지 않음(not recommended)"과 "사용될 수 있음(may be used)"이라는 단어는 정확히 식별할 수 있었지만, 결론에 도달하기 위해 이 두 단어를 서로 대조하여 무게를 다는 데는 실패했습니다. 연구진은 이 컴퓨터 프로그램들이 텍스트를 읽는 데는 강력한 도구이지만, 보안 감사에 필요한 미묘한 차이와 조건부 논리에 대한 깊은 이해력은 아직 갖추지 못했다고 결론지었습니다. 이 기술은 아직 홀로 작업할 준비가 되지 않았습니다. 이 연구는 이러한 도구들이 인간이 검토할 잠재적 규칙을 표시하는 '1차 필터링' 용도로는 유용할 수 있지만, 최종 결정을 내리는 데 신뢰할 수는 없음을 시사합니다. 모델이 지양되는 예외 사항과 단순한 허가 사이의 차이를 안정적으로 이해할 수 있을 때까지, 인터넷의 규칙을 지키는 과업은 인간의 손에 남아야 합니다.