기술 요약: VectraYX-Nano

문제 제기

본 논문은 라틴아메리카의 보안 운영 센터 (SOC) 와 관련된 대규모 언어 모델 (LLM) 생태계의 두 가지 교차하는 격차를 다루고 있습니다:

1. 언어 격차: 가장 성능이 우수한 오픈 가중치 채팅 모델은 주로 영어 코퍼스로 훈련되어, 스페인어권 분석가들에게는 제한된 선택지しか 남기지 않습니다. 기존 스페인어 모델들은 종종 기술적 정확성이 부족하거나, 폐쇄형 소스이며 감사 불가능한 API 를 필요로 합니다.
2. 도메인 격차: 사이버보안 특화 모델은 존재하지만 거의 예외 없이 영어 데이터로 훈련되어, 라틴아메리카 지역 용어 (예: CCN-CERT, INCIBE 와 같은 특정 CSIRT 어휘) 와 위협 맥락을 포착하지 못합니다.
3. 배포 제약: 보안 팀들은 종종 데이터가 네트워크를 벗어날 수 없는 에어갭 (air-gapped) 또는 온프레미스 환경에서 운영되므로, 로컬에서 감사 및 재훈련이 가능한 작고 엣지 배포 가능한 모델이 필요합니다.
4. 도구 통합: 도구 증강 LLM 이 등장하고 있지만, 기존 솔루션들은 종종 에이전트 루프 뒤의 최첨단 모델에 의존합니다. 정적 훈련 컷오프에서 환각을 일으키는 대신 실시간 위협 인텔리전스 (CVE, IOC) 를 검색하기 위해 외부 시스템 (Model Context Protocol, 즉 MCP 를 통해) 을 신뢰성 있게 호출할 수 있는 작고 네이티브 도구 사용 모델의 부재가 있습니다.

방법론

1. 코퍼스 구축 (VectraYX-Sec-ES)

저자들은 약 25 달러의 비용으로 8 대의 가상 머신에 분산된 파이프라인을 사용하여 1 억 7 천만 토큰 규모의 스페인어 사이버보안 코퍼스를 구성했습니다. 이 코퍼스는 커리큘럼 학습 전략과 정렬된 세 단계로 나뉩니다:

• 1 단계 (대화형): 채팅 레지스터를 확립하기 위해 OpenSubtitles-ES, OASST1, 그리고 커스텀 큐레이션 대화에서 파생된 4 천 2 백만 토큰.
• 2 단계 (사이버보안): NVD CVE 항목, 필터링된 스페인어 위키백과 서브셋 (8 천 2 백만 토큰, 가장 큰 구성 요소), 그리고 번역된 보안 블로그를 포함한 1 억 1 천 8 백만 토큰.
• 3 단계 (도구화): ExploitDB, HackTricks, 그리고 OWASP 에서 가져온 1 천만 토큰.
• SFT 코퍼스: 실제 온프레미스 CVE/IOC 데이터베이스에 기반한 13,000 개의 대화, 4,030 개의 CVE Q&A 쌍, 그리고 6,327 개의 도구 사용 추적을 포함하는 별도의 2 천 8 백만 토큰 데이터셋.

2. 아키텍처

VectraYX-Nano 는 처음부터 훈련된 4,195 만 파라미터의 디코더 전용 트랜스포머입니다. 주요 아키텍처 선택 사항은 다음과 같습니다:

• 현대적 소형 LLM 스택: RMSNorm, SwiGLU, RoPE, 그리고 가중치 연결 임베딩.
• 안정화 메커니즘: KV 캐시와 파라미터를 줄이기 위해 8 개의 쿼리 헤드와 2 개의 KV 헤드 (4:1 비율) 를 사용하는 그룹화 쿼리 어텐션 (GQA); 작은 배치에서 훈련을 안정화하기 위한 QK-Norm; 그리고 로그이트 드리프트를 방지하기 위한 $z$-loss 보조 손실.
• 토크나이저: 대화형 텍스트와 기술적 텍스트를 50/50 으로 혼합하여 훈련된 16,384 토큰 바이트-폴백 BPE 토크나이저로, 도메인 균형이 잡혀 있습니다. 여기에는 채팅 역할, 도구 호출, 그리고 도메인별 개념 (예: <|cve|>, <|tool_call|>) 을 위한 27 개의 예약된 특수 토큰이 포함되어 있습니다.

3. 훈련 전략

• 리플레이를 통한 커리큘럼 학습: 모델은 세 단계의 연속적인 사전 훈련을 거칩니다. 특히, 1 단계에서 확립된 대화형 레지스터의 치명적 망각을 완화하기 위해 명시적인 리플레이 버퍼 (2 단계에서 25%, 3 단계에서 10%) 가 사용됩니다.
• 지도 미세 조정 (SFT): SFT 동안 미니 커리큘럼 접근법이 사용되어, 모델이 자연어 대신 JSON 포맷팅에 과적합하는 것을 방지하기 위해 도구 사용 추적을 도입하기 전에 대화형 데이터를 먼저 배치합니다.
• 도구 사용: 모델은 외부 MCP 런타임 (모델 자체가 아님) 에 의해 실행되는 구문적으로 유효한 <|tool_call|> JSON 세그먼트를 생성하도록 훈련됩니다.

주요 기여

1. VectraYX-Nano 모델: 네이티브 MCP 도구 사용 지원을 갖춘 처음부터 훈련된 최초의 공개된 스페인어 네이티브 디코더 전용 사이버보안 LLM 으로, 엣지 배포에 최적화되어 있습니다 (F16 에서 81MB, 4 비트에서 약 20MB).
2. 코퍼스와 파이프라인: 번역된 NVD CVE 와 지역 위협 인텔리전스의 독특한 "피카츄" 사내 미러를 포함한 1 억 7 천만 토큰 규모의 스페인어 사이버보안 코퍼스를 구축하기 위한 저비용 (25 달러) 분산 파이프라인.
3. 리플레이를 통한 커리큘럼: 리플레이 버퍼를 갖춘 세 단계 커리큘럼 (대화형 → 사이버보안 → 도구화) 이 치명적 망각을 방지하고 단조로운 손실 감소를 이끌어낸다는 증명.
4. 레지스터와 밀도에 대한 실증적 발견:
   • 손실 vs 레지스터 역전: 본 논문은 더 낮은 퍼플렉시티 부트스트랩 코퍼스 (mC4-ES) 를 사용하는 것이 더 높은 퍼플렉시티 코퍼스 (OpenSubtitles-ES) 에 비해 더 나쁜 대화 행동을 초래한다고 보고합니다. 4 천 2 백만 규모에서 부트스트랩 코퍼스의 "레지스터" (스타일) 가 하류 채팅 품질을 지배하며, 이는 SFT 만으로는 완전히 덮어쓸 수 없는 요소입니다.
   • 도구 사용 밀도 임계값: 저자들은 소형 모델이 도구 호출을 생성하지 못하는 것 (B4 점수 0.000) 이 하드 용량 한계가 아니라 코퍼스 밀도 아티팩트임을 확인했습니다. 도구 사용 예제와 산문 텍스트의 비율을 1:211 에서 1:21 로 증가시키면 4 천 2 백만 및 2 억 6 천만 모델 모두에서 도구 선택 정확도 (B4) 가 크게 향상되어, 첫 번째 토큰의 사전 확률을 산문에서 <|tool_call|> 로 전환시킵니다.

결과

• 성능: 출시된 모델은 홀드아웃 벤치마크에서 인간이 등급을 매긴 대화형 게이트 점수 0.78 ± 0.05를 달성합니다.
• 효율성: 이 모델은 상용 하드웨어 (Raspberry Pi 4) 에서 1 초 미만의 첫 번째 토큰 도달 시간을 가지며, Pi 4 에서 초당 610 토큰을 달성합니다. 이는 0.5B 기준 모델의 초당 12 토큰과 비교됩니다.
• 애블레이션 연구:
  • mC4-ES 로 훈련된 모델보다 OpenSubtitles-ES 부트스트랩으로 훈련된 모델이 더 낮은 사전 훈련 손실에도 불구하고 대화 지표에서 더 나은 성능을 보입니다.
  • 동일한 커리큘럼으로 처음부터 훈련된 2 억 6 천만 파라미터 "미드티어" 모델은 B1 (키워드 회상) 과 B3 (명령 완성) 에서 개선된 모습을 보이지만, 도구 사용 코퍼스 밀도가 증가하지 않는 한 도구 선택 (B4) 에서 0.000 바닥에 도달합니다.
• 안전성: 499 개의 적대적 프롬프트에 대한 자동 레드팀 평가에서 모델은 위험한 도구 호출을 자율적으로 생성하지 않는 것으로 나타났습니다. 그러나 명시적인 거절 훈련이 부족하여 안전성은 런타임 레벨의 필터링에 의존합니다.

중요성과 주장

본 논문은 라틴아메리카 보안 팀을 위한 엣지 배포 가능, 감사 가능한 AI 어시스턴트의 개념 증명으로서 VectraYX-Nano 를 위치시킵니다. 그 주요 중요성은 다음을 증명하는 데 있습니다:

1. 나노 규모 모델은 효과적일 수 있습니다: 훈련 데이터가 신중하게 큐레이션되고 커리큘럼이 도메인 전문화 전에 올바른 스타일적 레지스터를 확립하도록 설계된 경우, 특정 도메인에서 효과적일 수 있습니다.
2. 소형 모델에서의 도구 사용은 실현 가능합니다: 하지만 이는 파라미터 수뿐만 아니라 훈련 데이터 내 도구 사용 예제의 밀도에 의해 제한됩니다.
3. 퍼플렉시티는 채팅 모델의 유일한 목표가 아닙니다: 소형 규모에서는 퍼플렉시티를 최소화하는 것보다 부트스트랩 코퍼스의 응답 레지스터를 일치시키는 것이 사용자 대상 행동에 더 중요합니다.

저자들은 스페인어 사이버보안 NLP 의 재현성과 추가 연구를 가능하게 하기 위해 코퍼스 구축 레시피, 훈련 스크립트, 구성, GGUF 가중치, 그리고 벤치마크 스위트 (VectraYX-Bench) 를 공개합니다. 그들은 이 모델이 오픈 도메인 추론에서 최첨단 70B+ 모델과 경쟁하기 위한 것이 아니라, 온프레미스 도구 증강 위협 분석이라는 특정 틈새 시장을 위해 설계된 것임을 명시적으로 언급합니다.