5287 artículos
Este trabajo propone un modelo de dos etapas y doble modalidad (audiovisual) basado en DINOv2 y Wav2Vec 2.0, que supera las líneas base oficiales en el reconocimiento de expresiones faciales del taller ABAW 10 mediante la extracción robusta de características visuales, la fusión de pistas acústicas y la suavización temporal.
Este artículo propone utilizar los principios de los sistemas distribuidos como un marco fundamental para diseñar y evaluar equipos de modelos de lenguaje grandes, abordando así desafíos clave como la estructura, el tamaño y la eficacia de dichos equipos de manera más rigurosa que el ensayo y error.
El artículo presenta SceneAssistant, un agente impulsado por retroalimentación visual que utiliza modelos de lenguaje visión-lenguaje y operaciones atómicas para generar y editar escenas 3D de alta calidad y vocabulario abierto a partir de instrucciones de texto natural.
El artículo presenta HandelBot, un marco que combina una política entrenada en simulación con una adaptación rápida mediante dos etapas (refinamiento estructurado y aprendizaje por refuerzo residual), permitiendo a un robot dextro tocar el piano con precisión bimanual en solo 30 minutos de datos físicos y superando a la implementación directa en simulación en un factor de 1.8x.
El artículo presenta ELIT, un mecanismo compatible con los transformadores de difusión (DiT) que introduce una interfaz latente elástica para desacoplar el tamaño de la imagen de la carga computacional, permitiendo ajustar dinámicamente la calidad y la latencia mediante un número variable de tokens latentes sin modificar la arquitectura base ni la función de objetivo.
El artículo presenta FIRM, un marco integral que desarrolla modelos de recompensa robustos y estrategias de aprendizaje por refuerzo para mitigar las alucinaciones y mejorar la fidelidad y el seguimiento de instrucciones en la generación y edición de imágenes.
DVD es un marco innovador que adapta determinísticamente modelos de difusión de video preentrenados para lograr estimación de profundidad de alta precisión en un solo paso, superando las limitaciones de los enfoques existentes mediante un diseño que equilibra estabilidad global y detalles finos, y que alcanza un rendimiento superior sin supervisión utilizando 163 veces menos datos específicos de la tarea.
El artículo presenta AutoGaze, un módulo ligero que elimina redundancias espaciotemporales en videos mediante la selección autoregresiva de parches críticos, logrando una reducción significativa de tokens visuales y acelerando el procesamiento de modelos de lenguaje multimodal para videos largos y de alta resolución, todo ello respaldado por el nuevo benchmark HLVid.
El artículo presenta DreamVideo-Omni, un marco unificado que utiliza un entrenamiento progresivo en dos etapas, combinando inyección jerárquica de movimiento y aprendizaje por refuerzo de identidad latente, para lograr una personalización de video de múltiples sujetos con control preciso sobre la identidad y el movimiento en todas sus escalas.
El artículo presenta HumDex, un sistema de teleoperación portátil y de código abierto que supera las limitaciones de los métodos existentes mediante seguimiento IMU y un marco de aprendizaje por imitación de dos etapas, facilitando la recolección eficiente de datos y la ejecución precisa de tareas de manipulación hábil en humanoides.
El artículo presenta Video Streaming Thinking (VST), un nuevo paradigma para modelos de lenguaje de video en línea que permite el razonamiento simultáneo a la visualización mediante un pipeline de entrenamiento post-adaptado y datos sintetizados, logrando una comprensión coherente en tiempo real con una latencia significativamente reducida y un alto rendimiento en benchmarks de streaming y offline.
El modelo de fundación abierto logra un rendimiento superior en tareas de locomanipulación de humanoides mediante un paradigma de entrenamiento en dos etapas que decopla el aprendizaje, pre-entrenando en videos humanos egocéntricos de alta calidad y ajustando posteriormente con datos reales de robots, superando así a enfoques anteriores que utilizan volúmenes de datos mucho mayores.
Este trabajo presenta GRADE, el primer benchmark que evalúa el razonamiento basado en disciplinas académicas en la edición de imágenes mediante un conjunto de datos diverso y un protocolo de evaluación multidimensional, revelando limitaciones significativas en los modelos multimodales actuales y estableciendo nuevas direcciones para su desarrollo.
El artículo presenta OmniStream, un modelo unificado de visión en streaming que integra percepción, reconstrucción y acción mediante atención espaciotemporal causal y alineación multitasca, demostrando una generalización superior en razonamiento semántico, espacial y temporal para agentes interactivos y encarnados.
Este artículo presenta MM-CondChain, un nuevo benchmark y una tubería de síntesis programáticamente verificable diseñados para evaluar el razonamiento composicional profundo y visualmente fundamentado en modelos de lenguaje multimodal, revelando que incluso los modelos más avanzados enfrentan dificultades significativas en tareas que requieren cadenas de condiciones complejas y ramificadas.
EVATok es un marco de tokenización de video adaptativo que asigna dinámicamente la longitud de los tokens según la complejidad de cada segmento, logrando una generación autoregresiva más eficiente y de mayor calidad con una reducción significativa en el uso de tokens en comparación con los métodos existentes.
Este artículo demuestra que, en un modelo de toma de decisiones binarias por votación donde cada voto tiene el mismo peso, el aprendizaje social es inútil y la estrategia óptima para maximizar el rendimiento del equipo consiste en ignorar las decisiones previas y mantener los votos secretos.
El artículo demuestra que, en procesos de aprendizaje social secuencial, es óptimo que los agentes bayesianos utilicen creencias iniciales inexactas y sistemáticamente sesgadas hacia la hipótesis menos probable para maximizar la precisión del último agente, priorizando así la informatividad de sus decisiones sobre la corrección inmediata de las mismas.
Este artículo presenta un marco de optimización basado en trellis para la asignación adaptativa de ensayos en la estimación de parámetros de procesos Bernoulli, demostrando mediante simulaciones de imágenes activas que dicho enfoque reduce significativamente el error cuadrático medio en comparación con los métodos tradicionales.
Esta revisión sintetiza los avances recientes en el seguimiento de múltiples objetos (MOT), abarcando su evolución histórica, las principales arquitecturas modernas como los transformadores y modelos fundacionales, las tendencias en benchmarks y métricas, así como los desafíos prácticos y direcciones futuras para su implementación en el mundo real.