Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
이 논문은 사이버 보안 추론 프로젝트의 발표된 클라우드 대 로컬 에너지 비교가 측정값으로 위장한 항등식과 차원 불일치를 포함한 출처 결함으로 인해 유효하지 않음을 입증하기 위해 해당 프로젝트를 감사하며, 이를 통해 향후 평가를 위한 엄격하고 출처를 인식하는 프로토콜을 확립한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 디지털 세계에서 거대 언어 모델은 보안 팀이 피싱 이메일을 분류하고, 소프트웨어 취약점을 설명하며, 사이버 공격에 대응하는 것을 돕는 강력한 도구가 되었습니다. 이러한 인공지능 시스템은 문장에서 다음 단어를 예측하는 방식으로 작동하지만, 그렇게 하기 위해 전기도 소비합니다. 조직들이 이 모델들을 자체 서버에서 실행할지 아니면 거대한 클라우드 제공업체로부터 빌려 쓸지를 결정함에 따라, 환경 측면에서는 어떤 옵션이 더 나은가라는 중요한 질문이 제기됩니다. 이를 답변하기 위해 연구자들은 각 요청에 사용된 에너지를 측정해야 합니다. 하지만 에너지 측정은 단순히 계량기를 읽는 것만큼 간단하지 않습니다. 어떤 하드웨어가 사용되었는지, 얼마나 오래 실행되었는지, 그리고 구체적으로 어떤 작업이 수행되었는지를 정확히 알아야 합니다. 숫자가 어디에서 왔고 어떻게 계산되었는지에 대한 명확한 기록이 없다면, 두 가지 서로 다른 시스템을 비교하는 것은 자동차의 속도계 수치를 자전거가 얼마나 빨리 달릴지에 대한 추측과 비교하는 것과 같습니다.
오클랜드 공과대학교의 한 연구팀은 이미 완료된 특정 사이버 보안 프로젝트를 면밀히 조사함으로써 이 문제를 탐구하기로 했습니다. 그들은 새로운 실험을 수행하거나 새로운 장비로 전력을 측정하지 않았습니다. 대신, 그들은 기존의 파일, 로그, 보고서를 검토하여 원래 연구에서 주장한 에너지 수치를 실제로 신뢰할 수 있는지 확인하는 감사관 역할을 수행했습니다. 그들의 목표는 모든 숫자를 그 출처까지 추적하여, 데이터가 현실에 대한 직접적인 관찰인지 아니면 가설에 기반한 계산인지 확인하는 것이었습니다. 그들은 해당 연구가 매우 다른 두 가지를 비교하려 했다는 사실을 발견했습니다. 하나는 내부 작동 방식이 숨겨진 클우드 서비스였고, 다른 하나는 연구자들이 프로세스를 볼 수는 있었지만 데이터를 기록하는 방식에서 근본적인 실수를 저지른 로컬 컴퓨터였습니다.
연구자들은 클라우드 부분의 에너지 수치가 전력의 측정이 아니라는 것을 발견했습니다. 360개의 기록이 포함된 클라우드 스프레드시트에서 모든 에너지 값은 생성된 모델의 총 단어 수에 고정된 숫자를 곱하여 도출되었습니다. 이는 에너지 수치가 전기 계량기에서 읽은 값이 아니라, 텍print에 적용된 수학적 항등식, 즉 텍스트에 적용된 하나의 규칙이었다는 것을 의미합니다. 클라우드 제공업체는 이러한 요청을 위해 자신들의 서버가 실제로 얼마나 많은 전력을 사용했는지에 대한 데이터를 공유하지 않았습니다. 결과적으로, 단어 수와 에너지 비용 사이의 강력한 연결 고리는 실제 클라우드가 소비한 전력에 대한 물리적 관찰이 아니라 계산 방식에 의한 인위적인 결과물이었습니다.
상황은 로컬 실험에서도 마찬가지로 문제가 있었지만 양상은 달랐습니다. 로컬 실험에서는 모델이 연구자들의 개인 컴퓨터에서 실행되었습니다. 여기서 연구팀은 탄소 배출량을 추정하기 위해 설계된 소프트웨어 도구를 사용했습니다. 이 도구는 이산화탄소 상당량을 킬로그램(kg) 단위로 정확하게 계산했습니다. 그러나 연구자들은 이 탄소 무게를 마치 킬로와트시(kWh) 단위의 전기 에너지인 것처럼 취급했습니다. 그들은 탄소 무게에 천을 곱하여 에너지를 계산했고, 그 잘못된 숫자를 사용하여 전기 비용을 산출했습니다. 이는 사과의 무게를 잰 뒤 그것이 수영장에 들어있는 물의 양이라고 주장하는 것과 같은 단위의 혼동이었습니다. 이 오류 때문에 로컬 에너지 수치는 클라우드 수치와 비교될 수 없었으며, 전력 소비의 진정한 척도로서도 신뢰받을 수 없었습니다.
감사 결과, 두 연구의 양측은 서로 다른 것을 테스트하고 있었다는 점도 드러났습니다. 클라우드 요청은 다른 유형의 모델을 포함했으며 답변의 길이가 훨씬 길어질 수 있었던 반면, 로컬 요청은 짧은 길이에서 끊기도록 설정되어 있었습니다. 또한 로컬 연구에는 사용된 정확한 소프트웨어 버전과 하드웨어 설정에 대한 명확한 기록이 부족하여, 실험을 반복했을 때 결과가 동일할지 알 수 없었습니다. 더욱이, 해당 연구는 보안 작업이 실제로 올바르게 해결되었는지 확인하는 방법 없이, 단지 작업이 완료되었는지만을 확인했습니다. 답변이 양호한지 알 수 없다 없다면, 사용된 에너지가 효율적인지 아니면 낭비되었는지 판단하는 것은 불가능합니다.
연구자들이 데이터의 이력을 추적하기 위한 '프로비넌스(provenance)'라는 엄격한 프레임워크를 적용했을 때, 해당 아카이브는 어떤 배포 방식이 더 에너지 효율적인지에 대한 순위를 매길 수 없다는 것을 발견했습니다. 클라우드 수치는 텍스트 길이에 기반한 추정치였고, 로컬 수치는 단위 변환 오류에 기반한 것이었습니다. 연구는 클라우드가 더 나은지, 로컬 설정이 더 나은지, 혹은 두 방식이 비교 가능한지조차 결정할 수 없었습니다. 연구자들은 향후 연구는 다르게 설계되어야 한다고 결론지었습니다. 두 시스템에 대해 동일한 작업을 수행하고, 적절한 계량기나 검증된 데이터를 통해 전력을 측정하며, 모든 숫자가 어떻게 도출되었는지 보여주는 명확하고 끊김 없는 증거의 사슬을 유지해야 합니다. 그러한 연구가 수행되기 전까지, 한 방식이 다른 방식보다 환경적으로 더 이롭다는 주장은 입증되지 않은 상태로 남을 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.