Phoenix-VL 1.5 Medium Technical Report
Phoenix-VL 1.5 Medium 是一款拥有 1230 亿参数的原生多模态多语言基础模型,通过广泛的本地化预训练和对齐专门针对新加坡语境进行了优化,在区域基准测试中实现了最先进的性能,同时在通用智能方面保持了全球竞争力。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
以下是Phoenix-VL 1.5 Medium技术报告的通俗化解读,辅以生动的类比:
核心理念:一位“本土专家”超级大脑
想象你有一位博学多才、游历全球的教授,精通科学、数学和全球历史。这就是研究人员最初使用的Mistral Medium 3.1模型。它极其聪明,但如果你问它新加坡某项具体的地方法规,或是大巴窑(Toa Payoh)社区某个著名游乐场的名字,它可能会猜错,或者给出一个笼统的答案。
Phoenix-VL 1.5 Medium 就是当你把这位环球教授送进为期 12 个月的“新加坡沉浸式特训营”后所诞生的成果。其目标是打造一款主权人工智能——一个属于新加坡、理解其独特文化与法律、且能在无需联网(即像“气隙”系统那样不与外界通信)的情况下安全运行的数字大脑。
训练配方:他们是如何做到的
研究人员并没有简单地将一堆书籍丢给模型,而是采用了一套特定的四步“烹饪”配方来烘焙这款新 AI:
基础层(持续预训练):
这相当于给模型喂入一个庞大且专业的图书馆。他们提供了1 万亿个 token(token 类似于单词或单词的一部分)的数据。这不仅仅是随机的互联网文本,而是经过精心策划的混合数据,重点包含新加坡法律、区域语言(如马来语、泰米尔语和中文)以及本土文化。- 类比: 想象这位教授在一年内阅读了所有新加坡报纸、政府宪报和本地小说,同时仍保留其全球知识储备。
长文本扩展(长上下文):
他们教会模型一次性记忆海量信息。将其“短期记忆”扩展至可容纳131,072 个 token(大约相当于一本厚小说的篇幅)。- 类比: 这位教授现在可以一次性读完整份 500 页的法律文件,并且在读到第 400 页时,依然能记住第 1 页的细节,而不会遗忘开头。
微调(指令与领域训练):
这是模型学习“如何表现”的阶段。研究人员向它展示了具体的示例,教它如何回答关于新加坡政府政策的问题,以及如何描述本地场景(例如,将“游乐场”具体描述为“大巴窑龙游乐场”,而非泛泛而谈)。- 类比: 这位教授现在正在修读“客户服务与本地礼仪”课程。他们学会了当新加坡人询问法律时,需要精确的答案,而非模糊的猜测。他们还学会了观察本地地标的图片并准确描述。
润色(在线直接偏好优化):
最后,人类教师审查并给模型的回答排名。如果模型过于啰嗦、产生幻觉(编造事实)或态度粗鲁,教师就会予以纠正。- 类比: 这是一场最终的“带妆彩排”,教授练习回答问题,由评委小组提供反馈,确保其在登台前做到乐于助人、诚实可靠且安全无害。
它的独特之处何在?
该论文强调了这款新模型的三大核心超能力:
- 它是本土传奇: 在专门针对新加坡设计的测试中(例如知晓所有 16 个政府部门的名称,或理解本地安全法规),Phoenix-VL 1.5 Medium 的表现超越了更大、更著名的模型。
- 结果: 在本地知识方面,它的得分高于拥有 4000 亿参数(如 Llama 4 Maverick)的模型。这证明了深度的本地化训练比单纯拥有一个“更大的大脑”更为重要。
- 它未曾遗忘世界: 人们通常担心,让模型专注于特定领域会导致其遗忘其他知识。论文声称 Phoenix-VL 1.5 Medium 保留了其通用智能。它在数学、编程和通用推理方面依然表现出色,与其他顶级模型不相上下。
- 它能看且能懂: 与仅能阅读文本的旧模型不同,这款模型是“多模态”的。它可以观察新加坡街景或复杂图表的图片,并结合本地背景进行解释。
安全性:“诚实”过滤器
研究人员构建了一个专门针对新加坡法规定制的安全框架。
- “不编造事实”规则: 在法律或政府语境下,编造事实是危险的。模型被训练为在不确定时回答“我不知道”,而不是猜测。
- “拒绝不良行为者”规则: 该模型能抵御“越狱”(人们用来诱导 AI 做坏事的技巧),且不会泄露其自身的秘密指令。
- 类比: 这就像一位纪律严明的公务员,清楚自己被允许说什么,以及必须拒绝回答什么,确保其永远不会无意中违法或传播虚假信息。
总结
Phoenix-VL 1.5 Medium 是一个拥有 1230 亿参数的 AI 模型,它证明了你不需要世界上最大的模型也能成为最聪明的本土专家。通过精心策划数据并专门针对新加坡独特的法律、语言和文化进行训练,创建者打造出了一款模型,它:
- 对新加坡了如指掌(优于那些庞然大物)。
- 在通用智能方面具有全球竞争力。
- 安全且可靠,适用于政府和私营部门,且无需联网。
它是一项“主权资产”,意味着它是专为新加坡需求打造的数字工具,由该国拥有并控制。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。