Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement
该论文通过探针实验证明,冻结的视觉 - 语言模型底层特征中蕴含的连续几何信息远超其文本输出能力,且这种“表示 - 表达”差距源于训练路径而非表征缺失,不同架构的编码器虽表征相似性低却实现了功能收敛,表明无需微调即可利用冻结骨干网络作为多任务几何传感器。
3568 篇论文
该论文通过探针实验证明,冻结的视觉 - 语言模型底层特征中蕴含的连续几何信息远超其文本输出能力,且这种“表示 - 表达”差距源于训练路径而非表征缺失,不同架构的编码器虽表征相似性低却实现了功能收敛,表明无需微调即可利用冻结骨干网络作为多任务几何传感器。
本文提出了名为 GreenRFM 的资源高效放射学基础模型预训练框架,通过创新的“更多蒸馏、无处不在、语义强化及任务对齐(MUST)”监督设计,在显著降低计算资源需求(仅需单张消费级显卡)的同时实现了超越现有复杂模型的性能,并证明了其在不同模态和机构数据上的泛化能力。
Match4Annotate 提出了一种轻量级框架,通过测试时拟合基于 SIREN 的隐式神经表示来传播稀疏视频标注,有效解决了医学影像等特定领域中跨视频与视频内点及掩码标注的泛化与平滑难题,并在临床超声数据集上实现了最先进的性能。
该论文提出了名为 Self-Flow 的自监督流匹配范式,通过双时间步调度机制在生成框架内强制模型学习强语义表征,从而摆脱对外部模型的依赖,实现了跨模态的扩展性训练及更优的多模态生成效果。
本文提出了 SG-DOR 框架,通过构建包含方向条件遮挡推理的场景图,有效识别密集胡椒植株中遮挡目标果实的器官,从而为机器人采摘规划提供关键的结构化关系信号。
该研究提出了一种基于超过 4.5 万张超声图像训练的人工智能系统,其诊断胎儿口面裂的准确率媲美资深放射科医生,不仅能显著提升初级医生的诊断敏感性,还能加速罕见病临床专家的培养,为医疗资源匮乏地区提供了兼顾精准诊断与专业教育的可扩展解决方案。
本文提出了一种名为 SCAN 的通用框架,该框架基于自编码器重构中间层特征并受信息瓶颈原理指导,能够生成高分辨率的高置信度热力图,从而在保持高保真度的同时解决现有视觉解释方法在架构通用性与解释清晰度之间的权衡难题。
本文提出了 AV-Unified 框架,通过将多种音频 - 视觉场景理解任务统一为离散 Token 序列并引入多尺度时空感知与跨模态引导模块,实现了在单一架构下对复杂动态场景的联合学习与全面理解。
该论文提出了一种针对漫反射直接飞行时间(dToF)LiDAR 的简单空间标定方法,通过扫描后向反射贴片并执行背景减法,为每个 LiDAR 像素在共置 RGB 图像平面上重建响应图,从而实现了跨模态对齐与融合。
该论文提出了一种名为 NEGATE 的训练无关方法,通过将语言否定建模为扩散动力学中的结构化可行性约束,利用凸集投影技术在不微调预训练模型的情况下,实现了对文本到视频生成中各类否定语义的精准控制。
本文提出了 SurgFormer,这是一种基于多分辨率门控 Transformer 的可扩展深度学习框架,它通过在 XFEM 生成的手术数据集上进行训练,能够利用统一的模型同时实现大规模体网格上的软组织实时变形预测及包含切除操作(如胆囊切除术和阑尾切除术)的拓扑改变模拟。
该论文通过 nuScenes 和 Argoverse 2 数据集建模并量化了自动驾驶多源多模态数据中的冗余性,发现选择性去除冗余标签不仅能显著降低数据量,还能提升 YOLOv8 目标检测任务的性能,从而确立了冗余性作为关键数据质量因素在自动驾驶感知中的重要作用。
本文提出了 EgoReasoner 框架,通过任务自适应的思维模板和奖励机制,使模型能够针对第一人称视频中的不同 4D 推理任务进行结构化思考,从而在仅使用 16K 样本训练的情况下,于 HD-EPIC 基准测试中显著超越了参数量更大的基线模型。
该论文提出了 Penguin-VL,通过利用纯文本大语言模型初始化视觉编码器来替代传统的对比学习预训练,从而在保持轻量级架构的同时,显著提升了紧凑型视觉语言模型在细粒度感知、文档理解及复杂推理等任务上的性能与数据效率。
本文提出了 SUREON,这是一个从手术学术视频中大规模提取专家推理信号构建的视频问答数据集及基准,并基于此训练了具备显式推理能力的手术视觉语言模型,使其在手术推理和感知任务上显著超越了现有的通用大模型。
本文提出了 SCOPE 框架,通过利用基类训练场景中的未标注背景区域构建伪实例原型池,并将其与少样本原型融合以增强表示,从而在无需重训练或增加参数的情况下,有效解决了 3D 点云增量少样本分割中的灾难性遗忘和判别性不足问题,在 ScanNet 和 S3DIS 数据集上取得了最先进性能。
BEVLM 提出了一种将鸟瞰图(BEV)表示与大型语言模型(LLM)相结合的新框架,通过从 LLM 蒸馏语义知识并统一多视角输入,显著提升了自动驾驶在复杂场景下的空间推理能力、跨视图理解精度及端到端闭环驾驶的安全性。
Omni-Diffusion 是首个完全基于掩码离散扩散模型构建的任意模态到任意模态多模态大模型,它通过统一架构实现了文本、语音和图像的理解与生成,并在多项基准测试中展现出超越或媲美现有系统的性能。
该论文指出,多模态大语言模型在图像分类任务中表现出的性能差距主要源于评估协议缺陷和标注噪声,通过修正这些关键问题并优化设计选择,其性能可显著提升并大幅缩小与监督模型的差距,同时证明了其在辅助大规模数据标注方面的潜力。
该论文提出了一种基于视频预测神经网络的生成模型 EIGen 来创造视觉运动错觉,并通过人类实验证实了这些错觉的有效性,从而支持了“错觉运动源于大脑对预测的感知而非原始视觉输入”的假设,同时倡导利用人工智能模仿生物系统的“动机性失败”来推动相关研究。