기술 요약: 미라지에서 그라운딩으로

1. 문제 정의 및 "미라지" 현상

본 논문은 시각적 회로 다이어그램을 합성 가능한 레지스터 전송 수준 (RTL) 코드로 변환하는 작업인 회로에서 Verilog 코드 생성에 있어 멀티모달 대규모 언어 모델 (MLLM) 의 신뢰성을 다룹니다. 저자들은 미라지 현상이라 명명된 치명적이고 은밀한 결함을 식별했습니다.

표준 평가 프로토콜에서 MLLM 에는 회로 다이어그램과 module_header(모듈 이름, 포트, 파라미터 포함) 가 제공됩니다. 저자들은 많은 최첨단 MLLM 이 시각적 토폴로지를 진정으로 "읽지" 않는다고 입증했습니다. 대신, 이들은 module_header 내의 식별자 의미를 활용하여 표준 RTL 템플릿을 검색합니다.

• 증거: 회로 다이어그램이 빈 이미지로 교체되더라도 (단, module_header 는 유지됨) 모델의 성능 (Pass@k) 은 변하지 않거나 오히려 향상됩니다.
• 함의: 높은 벤치마크 점수는 종종 시각적 그라운딩의 부재를 가립니다. 모델은 시각적 입력을 완전히 우회하여 텍스트 단서에 의존합니다. 이는 하드웨어 설계에서 하나의 잘못 읽은 회로도 전체 툴체인을 통해 침묵하며 전파되어 실리콘 수준의 결함을 초래할 수 있는 안전 위험을 야기합니다.

2. 방법론

A. 벤치마크 구축: C2VEVAL

미라지 현상을 정량화하기 위해 저자들은 정확한 이미지 - 코드 대응을 보장하는 C2VEVAL 벤치마크를 구축했습니다.

• 데이터 소스: 확립된 Verilog 벤치마크 (VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench) 에서 파생된 169 개 샘플을 NETLISTSVG 를 사용하여 회로 다이어그램으로 렌더링했습니다.
• 쌍을 이루는 프로토콜: 벤치마크는 두 가지 변형 하에서 모델을 평가합니다.
  1. Normal: 다이어그램과 헤더 모두에 원래 식별자가 포함됨.
  2. Anony (익명화): 의미론적으로 부하된 모든 식별자 (모듈 이름, 포트 이름, 파라미터) 가 위치 플레이스홀더 (예: val_0, val_1) 로 대체됨. 다이어그램은 이러한 플레이스홀더와 일치하도록 재렌더링되어 의미론적 단서는 제거되지만 토폴로지는 유지됨.
• 평가 모드:
  • Original: 실제 회로 다이어그램 제공.
  • Mirage: 다이어그램이 빈 이미지로 교체됨; 헤더는 유지됨.

B. 제안된 솔루션: VeriGround

저자들은 진정한 시각적 그라운딩을 강제하고 할루시네이션과 과도한 거절 사이의 균형을 맞추도록 훈련된 4B 파라미터 MLLM 인 VeriGround를 제안합니다. 훈련 파이프라인은 세 단계로 구성됩니다.

1. 데이터셋 수집 및 익명화:

   • GitHub 에서 대규모 코퍼스 (~54k 샘플) 를 채굴하여 합성을 검증하고 난이도에 따라 필터링합니다.
   • 코퍼스를 Normal 및 Anony 변형으로 분할하여 모델이 식별자 암기가 아닌 시각적 토폴로지에서 학습하도록 강제합니다.

2. 혼합 지도 미세 조정 (SFT):

   • 모델을 혼합된 Normal + Anony 코퍼스로 미세 조정합니다. 이는 모델이 헤더의 의미론적 단서에 의존하는 대신 회로의 시각적 구조에 예측을 그라운딩하도록 강제합니다.

3. 결정 중심 ORPO (D-ORPO) 정렬:

   • 모델이 시각적 입력 없이 코드를 할루시네이션하거나 유효한 입력을 과도하게 거절하는 경향을 해결하기 위해 저자들은 D-ORPO를 도입합니다.
   • 선호 쌍: 세 가지 범주가 구성됩니다.
     • MATCH: 유효한 다이어그램 + 거절 (거부됨) 대 올바른 코드 (선택됨).
     • BLANK: 빈 이미지 + 코드 (거부됨) 대 거절 (선택됨).
     • MISMATCH: 관련 없는 다이어그램 + 코드 (거부됨) 대 거절 (선택됨).
   • 메커니즘: 표준 ORPO 는 모든 토큰을 동등하게 취급하여 길이 비대칭으로 인해 모델이 더 짧은 거절 응답을 선호하도록 편향시킵니다. D-ORPO 는 첫 번째 $K$개의 응답 토큰 (결정 경계) 을 가중치 $\alpha > 1$로 상향 가중치하여 선호 신호를 생성 또는 거절 결정에 집중시킵니다. 이는 유효하지 않은 입력에 대한 높은 거절률을 유지하면서 과도한 거절을 완화합니다.

3. 주요 기여

1. 현상 식별: 본 논문은 미라지 현상이 평가된 여덟 개의 MLLM (GPT-5.4, Opus-4.6 및 오픈소스 모델 포함) 전반에 걸쳐 보편적임을 문서화합니다. Normal 모드에서 다이어그램을 제거하면 종종 점수가 향상되며, 진정한 시각적 그라운딩은 샘플의 약 8~9% 만 차지합니다.
2. 벤치마크 및 평가: C2VEVAL 은 성능의 주요 동인으로 식별자 의미론을 격리하는 쌍을 이루는 Normal/Anony × Original/Mirage 프로토콜을 도입하여 비전 - 코드 파이프라인의 진단 도구 역할을 합니다.
3. 방법론: VeriGround(4B) 는 식별자 익명화, 거절 증강, D-ORPO 정렬을 통합합니다.
4. 성능: VeriGround 는 Normal 46.11%, **Anony 42.51%**의 Functional Pass@1을 달성합니다.
   • Normal 조건에서 GPT-5.4(45.51%) 의 성능에 근접합니다.
   • Anony 조건에서 모든 베이스라인을 크게 능가합니다 (예: Opus-4.6 대비 +31.13%), 진정한 시각적 그라운딩을 확인합니다.
   • 빈 이미지에서의 거절률을 92% 이상 유지하면서 **False Refusal Rate (FRR)**를 Normal 1.20%, Anony 0.00% 로 낮게 유지합니다.

4. 결과 및 중요성

• 시각적 그라운딩 vs. 단서: 실증 연구는 Anony 프로토콜 하에서 "미라지 우위"(빈 이미지가 더 나은 결과를 산출하는 현상) 가 8 개 모델 중 7 개에서 역전됨을 보여줍니다. 이는 표준 고점수가 시각적 이해가 아닌 헤더 기반 단서에 주로 기인함을 확인합니다.
• 효율성: 4B 파라미터만 가진 VeriGround 는 Normal 모드에서 최첨단 규모 독점 모델 (예: GPT-5.4, 추정 200B+) 과 경쟁하며 Anony 모드에서는 이를 결정적으로 능가합니다.
• 균형 잡기: D-ORPO 구성 요소는 할루시네이션과 과도한 거절 사이의 긴장을 성공적으로 해결합니다. 표준 ORPO 는 빈 이미지에서 거의 완벽한 거절을 달성했지만 유효한 입력에서 높은 오거절률 (~9%) 을 보였습니다. D-ORPO 는 유효하지 않은 입력에 대한 높은 거절 정확도를 유지하면서 FRR 을 거의 0 으로 줄였습니다.
• 일반화 가능성: 저자들은 방법론 (익명화 + 거절 증강 + 결정 중심 정렬) 이 텍스트 프롬프트가 의미론적 단서를 누출할 수 있는 다른 비전 - 코드 작업 (예: UI-to-HTML, Chart-to-Python) 으로 이전 가능하다고 주장합니다.

5. 주장 및 한계

본 논문은 VeriGround 가 AI 코드 생성에서 할루시네이션과 과도한 거절을 보정하기 위한 이전 가능한 솔루션을 제공한다는 점을 겸손하게 주장합니다. 이는 모든 하드웨어 설계 과제를 해결하는 것이 아니라 모델이 시각적 증거에 의존하도록 보장하는 엄격한 평가 프레임워크와 훈련 레시피를 제공하는 것입니다.

• 타당성에 대한 위협: 저자들은 C2VEVAL 이 169 개 샘플과 특정 회로 범주로 제한됨을 인정합니다. 이러한 발견은 VHDL, SystemVerilog 또는 산업 규모 회로에 완전히 일반화되지 않을 수 있습니다. 또한, 기능적 정확성은 테스트벤치 시뮬레이션에 의존하며 모든 코너 케이스를 커버하지 못할 수 있습니다.
• 향후 작업: 저자들은 VeriGround 를 더 크고 작은 아키텍처로 확장하고 벤치마크를 산업 규모 회로로 확장하여 접근법의 일반화 가능성을 추가로 검증할 계획입니다.