5565 artículos
Este trabajo presenta HitEmotion, un marco que integra la Teoría de la Mente en modelos de lenguaje multimodal mediante un benchmark jerárquico, una cadena de razonamiento guiada y el método de aprendizaje por refuerzo TMPO para superar las limitaciones actuales en la comprensión emocional profunda.
Este artículo propone un nuevo método de cuantización post-entrenamiento para modelos de difusión que asigna pesos óptimos a las muestras de calibración para alinear los gradientes entre pasos de tiempo, superando así las limitaciones de las técnicas uniformes existentes y mejorando el rendimiento en conjuntos de datos como CIFAR-10, LSUN-Bedrooms e ImageNet.
El artículo presenta CaCoVID, un nuevo algoritmo de compresión de tokens para la comprensión de video que utiliza aprendizaje por refuerzo para optimizar activamente la selección de tokens basándose en su contribución real a las predicciones correctas, superando así las limitaciones de los métodos tradicionales que priorizan únicamente las puntuaciones de atención.
El artículo presenta CloDS, un marco de aprendizaje no supervisado que utiliza observaciones visuales multivista y una técnica de *splatting* gaussiano con modulación de opacidad dual para aprender la dinámica de telas en condiciones desconocidas sin requerir propiedades físicas predefinidas.
Este trabajo presenta VDR-Bench, un nuevo benchmark de 2.000 instancias diseñado para evaluar de manera realista las capacidades de búsqueda visual y textual en modelos de lenguaje grandes multimodales, abordando las limitaciones de los conjuntos de datos existentes mediante una curación rigurosa y proponiendo un flujo de trabajo de búsqueda recortada multi-vuelta que mejora significativamente el rendimiento en escenarios prácticos.
Este estudio analiza cómo los modelos de generación de imágenes texto-a-imagen representan a las personas con discapacidad, revelando desequilibrios persistentes y la necesidad de estrategias de mitigación para fomentar una representación más inclusiva.
El artículo presenta RFDM, un modelo de difusión causal y eficiente que edita videos de longitud variable frame a frame mediante la predicción de residuos entre predicciones consecutivas, logrando un rendimiento superior a los métodos basados en imágenes y comparable a los modelos 3D completos con un coste computacional reducido.
Este estudio compara cinco modelos de vanguardia para la reconstrucción 3D a partir de una sola imagen en dominios médicos y naturales, revelando que, aunque todos enfrentan una baja superposición volumétrica debido a la ambigüedad de profundidad, SAM3D logra la mejor similitud topológica en datos médicos, lo que subraya la necesidad de adaptación específica del dominio para superar las limitaciones actuales.
El artículo presenta EchoTorrent, un nuevo esquema de generación de video multimodal en streaming que supera las limitaciones de latencia y estabilidad temporal mediante cuatro innovaciones clave: entrenamiento con múltiples profesores, calibración adaptativa de CFG, forzamiento híbrido de cola larga y refinamiento del decodificador VAE, logrando así una generación autoregresiva rápida con alta consistencia temporal y sincronización audio-labial.
El artículo presenta GPEReg-Net, un marco de registro de imágenes entre dominios que elimina la necesidad de estimar campos de deformación explícitos mediante la descomposición de la imagen en representaciones invariantes al dominio y estadísticas de apariencia, aprovechando la coherencia temporal a través de un mecanismo de atención codificada por posición para lograr un rendimiento superior y una mayor velocidad en comparación con los métodos existentes.
OmniCT es un modelo unificado de visión y lenguaje que supera las limitaciones de los enfoques actuales al integrar simultáneamente el análisis de cortes individuales y volúmenes completos de tomografía computarizada mediante mejoras en la consistencia espacial y semántica, logrando un rendimiento superior en tareas clínicas diversas.
Prefer-DAS es un modelo multitarea adaptable a dominios para la segmentación de microscopía electrónica que supera a los métodos existentes al integrar aprendizaje con prompts dispersos y optimización de preferencias locales (LPO, SLPO y UPO), logrando un rendimiento cercano o superior al de modelos supervisados tanto en modos automáticos como interactivos.
El artículo presenta Hepato-LLaVA, un modelo de lenguaje multimodal especializado que utiliza un mecanismo de atención Sparse Topo-Pack para analizar imágenes de diapositivas completas de carcinoma hepatocelular, junto con un nuevo conjunto de datos validado por expertos, logrando un rendimiento superior en tareas de diagnóstico y descripción patológica.
Este artículo presenta un modelo de explicación para la segmentación de imágenes médicas que utiliza el razonamiento causal y el efecto medio de tratamiento (ATE) para cuantificar la influencia de las regiones de entrada y los componentes de la red, demostrando una mayor fidelidad que las técnicas existentes y revelando heterogeneidades en las estrategias de percepción de diversos modelos fundamentales.
El artículo propone el marco de Cuantización de Color de Conjuntos de Datos (DCQ), una solución unificada que comprime grandes conjuntos de datos visuales reduciendo la redundancia en el espacio de color mediante la preservación de colores semánticamente importantes y detalles estructurales, logrando así un almacenamiento eficiente sin sacrificar el rendimiento del entrenamiento del modelo.
Este trabajo presenta VII, un marco de jailbreaking sin entrenamiento que explota la capacidad de seguir instrucciones visuales en modelos de generación de video a partir de imágenes para inyectar intenciones maliciosas a través de imágenes de referencia seguras, logrando altas tasas de éxito en ataques contra modelos comerciales de última generación.
HorizonForge es un marco unificado que permite la edición fotorealista y controlada de escenas de conducción mediante la reconstrucción en Gaussian Splats y mallas, facilitando la inserción de vehículos y trayectorias arbitrarias con consistencia temporal y superando a los métodos actuales en fidelidad y preferencia de usuario.
Los autores proponen un marco unificado basado en mapas de interacción luz-geometría (LGI) y un nuevo conjunto de datos a gran escala para generar sombras y relucir imágenes de manera conjunta, logrando una coherencia física y realismo superiores al integrar la geometría 2.5D con modelos generativos.
El artículo presenta PhotoAgent, un sistema autónomo de edición fotográfica que utiliza planificación estética explícita y búsqueda en árbol para ejecutar ediciones complejas sin necesidad de instrucciones paso a paso, respaldado por el nuevo benchmark UGC-Edit para su evaluación.
El artículo presenta OmniGAIA, un nuevo benchmark diseñado para evaluar agentes de inteligencia artificial que integran percepción multimodal (visión, audio y lenguaje) con razonamiento complejo y uso de herramientas, junto con OmniAtlas, un agente fundacional nativo que mejora estas capacidades mediante estrategias de entrenamiento avanzadas para abordar escenarios del mundo real.