Workload-Driven Optimization for On-Device Real-Time Subtitle Translation
本文提出了 LocalSubs，這是一個針對台灣裝置優化的裝置端英譯繁體中文字幕翻譯系統，透過將詞表大小縮減至 64k 個 token，實現了低延遲、保護隱私的推論，顯著提升了解碼速度，並在短輸入情況下對 Google 翻譯取得了 59.2% 的勝率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想像一下，你正試圖在自己的筆記型電腦上即時翻譯電影字幕，就在文字從螢幕上消失前的瞬間。你希望它既快速、具備隱私性（所以數據不會離開你的設備），而且對台灣人來說聽起來要自然。這就是這篇論文所應對的挑戰。
大多數大型翻譯工具就像是設計用來運送巨量貨物的重型卡車（處理長篇文章）或是在巨大的車隊中運行（同時處理數百個請求）。但翻譯單行字幕更像是忍者衝刺去遞送一張極小的紙條。這篇論文主張，為了「忍者衝刺」而使用那些「重型卡車」是對時間與能量的浪費。相反地，他們為這項工作打造了一輛專屬且輕量化的電動機車。
「沉重背包」問題
研究人員從一個標準的翻譯模型（LMT-60-0.6B）開始。他們發現，即使使用了稱為「量化」（這就像是將一個沉重的背包壓縮成一個更小、更密集的背包）的技術讓模型變得更小、更輕，模型在處理其中一個特定部分時仍然感到吃力，那就是：「詞彙投影」（vocabulary projection）。
把模型的詞彙庫想像成一本巨大的字典。原始模型的字典擁有 151,936 個單詞。每當模型想要說出一個詞時，它都必須翻遍所有 151,936 頁來找到正確的那一個。這太花時間了，特別是當你只有一瞬間的時間來寫下字幕時。
客製化字典解決方案
團隊意識到，對於電影字幕來說，你不需要一本包含宇宙萬物的字典。你主要需要的是關於電影、對話和台灣特定俚語的詞彙。因此，他們建立了一個全新的、客製化的字典，僅包含 64,024 個單詞，並專門針對英文和繁體中文字幕進行了訓練。
這個改變帶來了兩個很酷的效果：
- 更小的字典： 模型現在只需要翻閱 64,024 頁，而不是 151,936 頁。這實現了 57.9% 的字典大小縮減。
- 更密集的打包： 在舊字典中，一個「Token」（文本塊）可能只代表一個中文字。而在新的字幕字典中，一個 Token 平均可以代表 1.40 個字。這就像更高效地打包你的行李；你在更少的步驟中裝入了更多的意義。
「重新訓練」的魔力
你不能直接在模型中更換字典而不破壞它，因為單詞的數字（ID）會改變。為了修復這個問題，研究人員使用了一個聰明的兩步程序：
- 遷移（Migration）： 他們複製了在兩個字典中都存在的單詞含義。對於新單詞，他們取組成這些單詞的較小碎片之平均值作為其含義。
- 校準（Calibration）： 在教導模型新事物之前，他們進行了一個「熱身」，在此期間他們只調整字典和最後的輸出層，保持其餘的大腦部分處於凍結狀態。這幫助模型在不忘記已知知識的情況下適應新字典。
- 微調（Fine-Tuning）： 最後，他們用一組全新的 233,088 個字幕範例來教導整個模型。
結果：快速且私密
當他們在 500 個特定範例中，將這個名為「LocalSubs」的新系統與 Google 翻譯進行對比測試時：
- 品質： 在與由超聰明 AI（GPT-4o）進行的頭對頭評比中（忽略平手情況），它贏得了 59.2% 的次數。這非常令人印象深刻，因為它完全是在本地設備上運行，而非在巨大的雲端伺服器上。
- 速度： 在 Apple M2 晶片上，新系統比帶有大字典的舊系統平均快了 1.63 倍。生成字幕的時間從 92.7 毫秒 降至 56.8 毫秒。
- 代價： 該系統是短句子（1–3 個單詞）的超級英雄，在那種情況下勝率高達 82.0%。但隨著句子變長（8 個單詞以上），勝率會下降到 45.7%。論文指出，這是因為長句子在壓縮時很難不丟失細節。
他們尚未證明的部分
作者非常誠實地指出哪些部分仍處於「進行中」。速度數據來自於一次「分析」（profiling）運行，這就像是在最終的汽車建成前的試駕。他們承認目前還沒有一個完整、可重複的每一步驟日誌，因此 1.63 倍的加速 是一個強烈的暗示，而非一個最終、不可動搖的事實。他們也提到，「勝率」是相對於 Google 翻譯，而非與雲端型的 GPT-4o 模型進行直接比較，儘管他們也測試過那個，並發現 GPT-4o mini 表現略好，勝率為 64.6%。
總結
這篇論文表明，對於裝置端、即時的字幕翻譯，秘訣不僅僅是讓模型變小，而是重新設計適合該工作的字典。透過將一個龐大的通用字典替換為一個精簡、字幕專用的字典，他們讓翻譯過程變得顯著更快且更高效，證明了有時，一個小型、專業化的工具比一個巨大的通用工具更好。然而，團隊警告說，速度結果是初步的，需要更嚴格的測試才能被視為最終的勝利。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。