Pinterest Canvas: Large-Scale Image Generation at Pinterest
本文介绍了 Pinterest 为应对严格产品需求而构建的大规模图像生成系统 Canvas，该系统通过“基础模型预训练结合任务特定微调”的架构，在背景增强、画幅扩展等多个实际场景中显著提升了用户参与度并优于第三方模型。
👁️ Category
cs.CV
3417 篇论文
Training Flow Matching: The Role of Weighting and Parameterization
该论文通过系统性数值研究，深入分析了去噪生成模型（特别是流匹配）中损失加权与输出参数化（如噪声、清晰图像及速度）的选择如何与数据流形内在维度、模型架构及数据集规模相互作用，旨在厘清关键训练因素并为设计决策提供实用见解。
Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement
该论文通过探针实验证明，冻结的视觉 - 语言模型底层特征中蕴含的连续几何信息远超其文本输出能力，且这种“表示 - 表达”差距源于训练路径而非表征缺失，不同架构的编码器虽表征相似性低却实现了功能收敛，表明无需微调即可利用冻结骨干网络作为多任务几何传感器。
GreenRFM: Toward a resource-efficient radiology foundation model
本文提出了名为 GreenRFM 的资源高效放射学基础模型预训练框架，通过创新的“更多蒸馏、无处不在、语义强化及任务对齐（MUST）”监督设计，在显著降低计算资源需求（仅需单张消费级显卡）的同时实现了超越现有复杂模型的性能，并证明了其在不同模态和机构数据上的泛化能力。
Match4Annotate: Propagating Sparse Video Annotations via Implicit Neural Feature Matching
Match4Annotate 提出了一种轻量级框架，通过测试时拟合基于 SIREN 的隐式神经表示来传播稀疏视频标注，有效解决了医学影像等特定领域中跨视频与视频内点及掩码标注的泛化与平滑难题，并在临床超声数据集上实现了最先进的性能。
Self-Supervised Flow Matching for Scalable Multi-Modal Synthesis
该论文提出了名为 Self-Flow 的自监督流匹配范式，通过双时间步调度机制在生成框架内强制模型学习强语义表征，从而摆脱对外部模型的依赖，实现了跨模态的扩展性训练及更优的多模态生成效果。
SG-DOR: Learning Scene Graphs with Direction-Conditioned Occlusion Reasoning for Pepper Plants
本文提出了 SG-DOR 框架，通过构建包含方向条件遮挡推理的场景图，有效识别密集胡椒植株中遮挡目标果实的器官，从而为机器人采摘规划提供关键的结构化关系信号。
Artificial Intelligence for Detecting Fetal Orofacial Clefts and Advancing Medical Education
该研究提出了一种基于超过 4.5 万张超声图像训练的人工智能系统，其诊断胎儿口面裂的准确率媲美资深放射科医生，不仅能显著提升初级医生的诊断敏感性，还能加速罕见病临床专家的培养，为医疗资源匮乏地区提供了兼顾精准诊断与专业教育的可扩展解决方案。
SCAN: Visual Explanations with Self-Confidence and Analysis Networks
本文提出了一种名为 SCAN 的通用框架，该框架基于自编码器重构中间层特征并受信息瓶颈原理指导，能够生成高分辨率的高置信度热力图，从而在保持高保真度的同时解决现有视觉解释方法在架构通用性与解释清晰度之间的权衡难题。
AV-Unified: A Unified Framework for Audio-visual Scene Understanding
本文提出了 AV-Unified 框架，通过将多种音频 - 视觉场景理解任务统一为离散 Token 序列并引入多尺度时空感知与跨模态引导模块，实现了在单一架构下对复杂动态场景的联合学习与全面理解。
Spatial Calibration of Diffuse LiDARs
该论文提出了一种针对漫反射直接飞行时间（dToF）LiDAR 的简单空间标定方法，通过扫描后向反射贴片并执行背景减法，为每个 LiDAR 像素在共置 RGB 图像平面上重建响应图，从而实现了跨模态对齐与融合。
NEGATE: Constrained Semantic Guidance for Linguistic Negation in Text-to-Video Diffusion
该论文提出了一种名为 NEGATE 的训练无关方法，通过将语言否定建模为扩散动力学中的结构化可行性约束，利用凸集投影技术在不微调预训练模型的情况下，实现了对文本到视频生成中各类否定语义的精准控制。
SurgFormer: Scalable Learning of Organ Deformation with Resection Support and Real-Time Inference
本文提出了 SurgFormer，这是一种基于多分辨率门控 Transformer 的可扩展深度学习框架，它通过在 XFEM 生成的手术数据集上进行训练，能够利用统一的模型同时实现大规模体网格上的软组织实时变形预测及包含切除操作（如胆囊切除术和阑尾切除术）的拓扑改变模拟。
Modeling and Measuring Redundancy in Multisource Multimodal Data for Autonomous Driving
该论文通过 nuScenes 和 Argoverse 2 数据集建模并量化了自动驾驶多源多模态数据中的冗余性，发现选择性去除冗余标签不仅能显著降低数据量，还能提升 YOLOv8 目标检测任务的性能，从而确立了冗余性作为关键数据质量因素在自动驾驶感知中的重要作用。
EgoReasoner: Learning Egocentric 4D Reasoning via Task-Adaptive Structured Thinking
本文提出了 EgoReasoner 框架，通过任务自适应的思维模板和奖励机制，使模型能够针对第一人称视频中的不同 4D 推理任务进行结构化思考，从而在仅使用 16K 样本训练的情况下，于 HD-EPIC 基准测试中显著超越了参数量更大的基线模型。
Penguin-VL: Exploring the Efficiency Limits of VLM with LLM-based Vision Encoders
该论文提出了 Penguin-VL，通过利用纯文本大语言模型初始化视觉编码器来替代传统的对比学习预训练，从而在保持轻量级架构的同时，显著提升了紧凑型视觉语言模型在细粒度感知、文档理解及复杂推理等任务上的性能与数据效率。
SUREON: A Benchmark and Vision-Language-Model for Surgical Reasoning
本文提出了 SUREON，这是一个从手术学术视频中大规模提取专家推理信号构建的视频问答数据集及基准，并基于此训练了具备显式推理能力的手术视觉语言模型，使其在手术推理和感知任务上显著超越了现有的通用大模型。
SCOPE: Scene-Contextualized Incremental Few-Shot 3D Segmentation
本文提出了 SCOPE 框架，通过利用基类训练场景中的未标注背景区域构建伪实例原型池，并将其与少样本原型融合以增强表示，从而在无需重训练或增加参数的情况下，有效解决了 3D 点云增量少样本分割中的灾难性遗忘和判别性不足问题，在 ScanNet 和 S3DIS 数据集上取得了最先进性能。
BEVLM: Distilling Semantic Knowledge from LLMs into Bird's-Eye View Representations
BEVLM 提出了一种将鸟瞰图（BEV）表示与大型语言模型（LLM）相结合的新框架，通过从 LLM 蒸馏语义知识并统一多视角输入，显著提升了自动驾驶在复杂场景下的空间推理能力、跨视图理解精度及端到端闭环驾驶的安全性。
Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion
Omni-Diffusion 是首个完全基于掩码离散扩散模型构建的任意模态到任意模态多模态大模型，它通过统一架构实现了文本、语音和图像的理解与生成，并在多项基准测试中展现出超越或媲美现有系统的性能。