SecBCache: Evaluating Banked Interleaved Word-Granularity Sector Cache for gather/scatter Operations on Sparse Data

현대적인 컴퓨터는 계산 속도가 아니라 데이터를 얼마나 빨리 이동시킬 수 있느냐에 의해 제약을 받는 경우가 많습니다. 질병의 확산을 매핑하거나, 사회적 네트워크를 분석하거나, 기후 변화를 시뮬레이션하는 것과 같은 복잡한 문제를 다루는 고성능 컴퓨팅의 세계에서, 가장 흔한 작업은 숫자를 계산하는 것이 아니라 메모리에서 숫자를 가져오는 것입니다. 이는 특히 데이터가 '희소(sparse)'할 때, 즉 잠재적인 공간의 대부분이 비어 있는 정보를 다룰 때 더욱 그러합니다. 몇 개의 흩어진 셀에만 숫자가 들어 있고 나머지는 비어 있는 거대한 스프레드시트를 상상해 보십시오. 컴퓨터가 이 흩어진 숫자들을 읽으려고 할 때, 컴퓨터는 종종 간접 접근(indirect access)이라고 알려진 예측 불가능한 방식으로 메모리 시스템을 이리저리 뛰어다녀야 합니다. 이러한 점프는 무작위로 일어나기 때문에, 컴퓨터는 다음에 어떤 데이터가 필요할지 쉽게 예측할 수 없으며, 이로 인해 저장 장치에서 프로세서로 정보를 이동시키는 작업이 전체 시스템을 느리게 만들고 에너지를 낭비하게 만드는 주요 병목 현상이 됩니다.

왜 이것이 어려운지 이해하려면 현재 컴퓨터가 데이터를 어떻게 저장하는지 살펴보아야 합니다. 표준 컴퓨터 메모리는 마치 독자가 단 한 페이지만을 필요로 하더라도 책 한 권 전체를 대여해 주는 도서관처럼, 고정된 크기의 블록 단위로 구성되어 있습니다. 컴퓨터가 특정 데이터 조각을 요청하면, 메모리 시스템은 일반적으로 64바이트 크기인 캐시 라인(cache line)이라 불리는 전체 블록을 가져옵니다. 만약 컴퓨터가 그 블록에서 단 하나 또는 두 개의 숫자만을 필요로 한다면, 나머지 데이터까지 함께 가져와 저장하게 되어 전력을 소비하고 데이터 경로를 막히게 합니다. 이러한 비효율성은 컴퓨터가 단 하나의 계산을 수행하기 위해 메모리의 서로 다른 부분에서 수십 개의 관련 없는 숫자를 모아야 하는 '희소' 워크로드에서 심각한 문제가 됩니다. 이러한 시나리오에서 컴퓨터는 실제 작업을 수행하는 데 드는 시간보다 무의미한 데이터를 이동시키는 데 더 많은 시간을 보냅니다.

뉴멕시코 주립대학교, 로렌스 버클리 국립연구소, 플로리다 국제 대학교의 연구진은 SecBCache라고 불리는 새로운 방식의 데이터 처리법을 제안했습니다. 이들의 연구는 데이터가 흩어져 있고 불규칙한 패턴으로 액세스되는 경우가 많은 과학적 시뮬레이션 및 머신러닝용 특정 컴퓨터 아키텍처에 초점을 맞추고 있습니다. 연구진은 데이터를 가져오고 저장하는 규칙을 바꾸는 특화된 메모리 구성 요소를 설계했습니다. 고정된 크기의 큰 데이터 블록을 잡는 대신, 이 설계는 컴퓨터가 실제로 필요한 아주 작고 구체적인 정보만을 가져오고 저장할 수 있게 해줍니다. 연구진은 현대적인 프로세서에 대한 상세한 컴퓨터 시뮬레이션을 사용하여 그래프 분석과 행렬 곱셈에 사용되는 실제 데이터 세트를 대상으로 이 아이디어를 테스트했습니다. 결과에 따르면, 이 새로운 접근 방식은 컴퓨터가 메모리에 쓰는 데이터의 양을 크게 줄이고, 이러한 작업을 실행하는 데 필요한 에너지를 낮추며, 프로그래밍 언어나 컴퓨터가 이해하는 근본적인 명령어를 변경하지 않고도 잠재적으로 정보 액세스 시간을 단축할 수 있음을 보여주었습니다.

연구진의 혁신의 핵심은 메모리 저장 방식을 재구성한 데 있습니다. 그들은 표준적인 큰 메모리 블록을 '서브섹터(subsectors)'라고 부르는 작은 8바이트 덩어리로 나누었습니다. 전통적인 시스템에서는 컴퓨터가 블록에서 숫자 하나를 필요로 하면 전체 블록을 로드해야 합니다. 하지만 새로운 SecBCache 시스템에서는 메모리가 동시에 접근 가능한 8개의 별도 섹션, 즉 '뱅크(banks)'로 나뉩니다. 컴퓨터가 흩어진 숫자 목록을 모아야 할 때, 컴퓨터는 이 서로 다른 뱅크들에 동시에 요청을 보내 필요한 특정 8바이트 덩어리만을 가져올 수 있습니다. 이는 독자가 필요한 페이지 한 장만을 위해 책 한 권 전체를 건네주는 대신, 여덟 명의 사원이 각기 다른 책에서 필요한 페이지를 동시에 뽑아주는 도서관과 같습니다. 이 설계는 무의미한 데이터를 가져오는 낭비를 피하면서도 표준 메모리 시스템의 속도와 조직성을 유지할 수 있게 해줍니다.

이 아이디어가 실제로 작동하는지 확인하기 위해, 연구진은 하드웨어가 매우 상세한 수준에서 어떻게 작동하는지 시뮬레이션하는 gem5라는 도구를 사용하여 가상의 컴퓨터 프로세서를 구축했습니다. 연구진은 이 가상 컴퓨터가 두 가지 일반적인 과학적 작업인 너비 우선 탐색(breadth-first search, 소셜 미디어 연결이나 도로망 등을 탐색하는 방법)과 희소 행렬 곱셈(물리학 및 공학에서 사용되며 대부분의 항목이 0인 거대한 숫자 격차를 곱하는 계산)을 수행하도록 프로그래밍했습니다. 연구진은 이 작업들을 이메일 네트워크부터 전력망 모델에 이르기까지 16가지의 실제 데이터 세트를 사용하여 테스트했습니다. 각 작업에 대해, 연구진은 이 새로운 SecBCache 설계를 전통적인 큰 블록을 사용하는 표준적인 기존 메모리 캐시와 비교했습니다.

시뮬레이션 결과는 효율성 면에서 놀라운 차이를 보여주었습니다. 표준 시스템에서는 컴퓨터가 전체 블록을 가져왔음에도 불구하고 그 중 절반 미만, 심지어는 18% 정도만을 사용하는 경우가 빈번했습니다. 이는 유용한 데이터 한 조각을 가져올 때마다 시스템이 여러 개의 무의미한 데이터를 이동시키느라 에너지와 대역폭을 낭비하고 있었음을 의미합니다. SecBCache 설계는 필요한 특정 8바이트 조각만을 가져옴으로써 이러한 낭비를 제거했습니다. 그래프 탐색 작업의 경우, 새로운 설계는 메모리 저장소에 기록되는 데이터 양을 중앙값 기준 63% 감소시켰습니다. 행렬 곱셈 작업에서는 그 효과가 더욱 극적이었는데, 기록되는 데이터가 중앙값 기준 80%나 감소했습니다. 이는 테스트된 많은 데이터 세트에 대해, 새 시스템이 기존 시스템보다 훨씬 적은 양의 데이터만을 기록했음을 의미하며, 컴퓨터의 속도를 늦추는 내부 트래픽을 획기적으로 줄였음을 보여줍니다.

단순히 공간을 절약하는 것을 넘어, 연구진은 이 설계가 메모리 액세스 속도에 어떤 영향을 미치는지도 조사했습니다. 새로운 시스템은 여러 뱅크에 동시에 접근할 수 있기 때문에, 많은 요청을 병렬로 처리할 수 있는 잠재력을 가집니다. 그러나 연구진은 실제 속도 향상은 데이터가 어떻게 분포되어 있는지에 달려 있다고 언급했습니다. 연구진은 모든 것이 완벽하게 돌아가는 최선의 시나리오와 요청이 동일한 뱅크에서 대기하게 되는 최악의 시나리오를 모두 계산하여, 데이터 액세스 시간을 추정하는 수학적 모델을 만들었습니다. 보수적인 최악의 가정 하에서도, 모델은 새로운 시스템이 그래프 탐색 작업에서는 메모리 액세스 지연을 26%, 행렬 곱셈 작업에서는 50%까지 줄일 수 있을 것으로 예측했습니다. 이 수치들은 컴퓨터가 전체 프로그램을 마치는 데 걸리는 총 시간이 아니라, 메모리 시스템 자체가 응답하는 데 걸리는 시간을 나타내지만, 이는 프로세서가 필요한 데이터를 얼마나 빨리 얻을 수 있는지에 대한 중요한 지표가 됩니다.

연구진은 또한 이러한 시스템을 구축하는 데 드는 물리적 비용을 검토했습니다. 그들은 산업 표준 도구를 사용하여 새로운 메모리 설계의 크기와 전력 소비량을 추정했습니다. 연구진은 이러한 작은 뱅크형 덩어리들을 관리하기 위해 필요한 추가 하드웨어가 컴퓨터 메모리 계층 전체 면적의 최대 2.46%만을 차지한다는 것을 발견했습니다. 이는 매우 작은 점유율로, 현대 프로세서에 상당한 공간을 차지하지 않고도 이 설계를 추가할 수 있음을 시사합니다. 나아가, 새로운 시스템은 메모리 배열에 훨씬 적은 양의 데이터를 쓰기 때문에 에너지도 덜 소비합니다. 시뮬레이션 결과, 데이터가 얼마나 희소하냐에 따라 몇 퍼센트에서 80% 이상까지 다양하지만, 테스트된 모든 데이터 세트에서 메모리 시스템의 동적 에너지가 감소하는 것으로 나타났습니다.

이 연구의 가장 중요한 측면 중 하나는 프로그래머가 코드를 다시 작성하거나 컴퓨터에게 명령하는 새로운 방법을 배울 필요가 없다는 점입니다. 연구진은 기존의 프로그래밍 언어나 컴퓨터가 이미 이해하고 있는 명령어를 그대로 사용할 수 있도록 SecBCache를 설계했습니다. 현대 프로세서에는 단일 명령어로 연속되지 않은 여러 데이터 조각을 불러올 수 있는 특정 명령어들이 있습니다. 새로운 메모리 시스템은 단순히 이러한 기존 명령어가 필요한 데이터만을 이동시키도록 보장함으로써 이를 더 효율적으로 만듭니다. 필요한 유일한 변화는 메모리의 어느 부분이 이러한 유형의 흩어진 데이터를 포함하고 있는지 컴퓨터에 알려주는 간단한 소프트웨어 마커를 사용하는 것이며, 이를 통해 하드웨어가 자동으로 해당 요청을 새로운 시스템으로 라우팅할 수 있게 합니다. 이러한 접근 방식은 복잡한 새로운 프로그래밍 모델이나 업계 전반에 채택되기 어려운 특화된 하드웨어 가속기를 도입할 필요를 피하게 해줍니다.

연구진은 또한 이 방식이 효과적이지 않을 수 있는 경우도 명시했습니다. 데이터가 매우 밀집되어 있고 예측 가능한 경우, 예를 들어 컴퓨터가 서로 바로 옆에 붙어 있는 긴 숫자 목록을 읽는 경우에는 전통적인 방식의 큰 블록을 가져오는 방식이 매우 잘 작동합니다. 이러한 특정 시나리오에서 새로운 시스템은 각 조각을 개별적으로 가져와야 했기에, 큰 블록이 제공하는 '덤'으로 오는 데이터의 이점을 잃어버려 성능이 약간 떨어지는 모습을 보이기도 했습니다. 그러나 연구진은 자신들의 설계가 인공지능 및 빅데이터 분석 분야에서 점점 더 흔해지고 있는 희소하고 불규칙한 데이터 처리를 목표로 하고 있다는 점을 강조했습니다. 이러한 애플리케이션의 경우, 필요한 것만 가져오는 능력이 모든 것을 한꺼번에 가져오는 이점보다 훨씬 중요합니다.

연구진은 직접 측정한 것과 추정한 것을 엄격히 구분했습니다. 메모리 시스템의 시뮬레이션으로부터 직접 측정된 것은 기록되는 데이터의 양과 에너지 절감 효과였습니다. 반면, 액세스 속도의 개선은 시스템이 동시에 여러 요청을 처리할 수 있을 때 어떻게 작동할지를 추정한 수학적 모델을 통해 도출되었습니다. 연구진은 시뮬레이션이 하드웨어가 요청을 처리할 수 있음을 보여주었지만, 모델은 서로 다른 부분에 대한 요청이 얼마나 자주 동시에 발생하는지에 따라 발생할 수 있는 지연 시간의 범위를 제공했다는 점을 언급했습니다. 연구진은 이것들이 모델링된 지연 시간이며 최종 애플리케리케이션의 확정된 속도 향상은 아니지만, 메모리 서브시스템의 병목 현상이 완화될 것이라는 강력한 징후라고 설명했습니다.

광범위한 컴퓨터 과학의 맥락에서, 이 연구는 컴퓨팅이 어떻게 진화하고 있는지에 대한 근본적인 변화를 다룹니다. 기계가 단순하고 선형적인 계산에서 벗어나 복잡하고 데이터 중심적인 작업으로 이동함에 따라, 메모리가 작동해야 하는 기존의 가설들은 점점 더 무의미해지고 있습니다. 항상 큰 블록을 가져와야 한다는 생각은 데이터가 밀집되고 예측 가능했던 시대의 유산입니다. SecBCase 설계는 메모리 시스템이 더 유연해지고, 현대적인 알고리즘의 불규칙한 요구에 적응할 수 있는 미래를 보여줍니다. 연구진은 효율적이고 기존 소프트웨어와 호환되는 메모리 시스템을 구축하는 것이 가능하다는 것을 증명함으로써, 차세대 과학 및 분석 도구의 성능을 높이기 위한 실질적인 경로를 제시했습니다.

연구는 모든 컴퓨팅 문제에 적합한 단일 솔루션은 없지만, 희소하고 간접적인 데이터 액세스를 처리하는 특정 과제는 목표가 뚜렷한 아키텍처 변경을 통해 해결될 수 있다고 결론짓습니다. 연구진은 메모리를 더 작고 독립적으로 접근 가능한 조각들로 나누고 병렬 접근이 가능하도록 조직함으로써, 현재의 시스템을 괴롭히는 에너지와 대역폭의 낭비를 획기적으로 줄일 수 있음을 입증했습니다. 이 접근 방식은 컴퓨터 프로그래밍 방식의 혁명을 요구하는 것이 아니라, 우리가 이미 처리하도록 요청한 데이터를 하드웨어가 처리하는 방식의 진화를 요구합니다. 대규모의 복잡한 데이터 세트를 처리하려는 수요가 계속 증가함에 따라, SecBCache와 같은 설계는 컴퓨터를 빠르고 에너지 효율적으로 유지하여, 데이터 이동의 병목 현상이 계산 자체의 잠재력을 가로막지 않도록 하는 데 필수적인 요소가 될 것입니다.