Connecting Speech to Words through Images

Resumen Técnico: Conectando el habla con las palabras a través de imágenes

Planteamiento del problema
El artículo aborda el desafío de aprender el mapeo entre las palabras escritas y sus contrapartes habladas sin supervisión textual explícita (transcripciones). Si bien la fundamentación visual se ha utilizado para mapear el habla a regiones de imágenes o entre idiomas, se ha puesto menos énfasis en vincular el habla directamente con el vocabulario escrito. Esta capacidad es crucial para la documentación lingüística, particularmente para lenguas de bajos recursos, lenguas sin forma escrita, o escenarios donde la recolección de transcripciones es prohibitivamente costosa. El objetivo es descubrir segmentos acústicos y asignarles significado en forma de palabras escritas utilizando únicamente un conjunto de datos de imágenes emparejadas con descripciones habladas.

Metodología
El enfoque propuesto es un método de fundamentación visual no paramétrico que consta de dos etapas primarias: construcción de vocabulario y localización de palabras clave.

1. Construcción de vocabulario:

   • El sistema utiliza modelos de subtitulado de imágenes comerciales (específicamente Tag2Text, BLIP-2 y GIT) para generar descripciones escritas para las imágenes en un corpus de habla con fundamentación visual.
   • Los subtítulos se lematizan y se seleccionan las palabras más frecuentes para formar un vocabulario. Para asegurar la robustez, el vocabulario final se construye a partir de la intersección de las palabras producidas por los tres sistemas de subtitulado, filtrando los términos visualmente no fundamentados.
   • Esto crea un conjunto de palabras objetivo que tienen una correspondencia visual verificada dentro del conjunto de datos.

2. Localización de palabras clave:

   • Filtrado: Para una palabra de consulta específica del vocabulario, el sistema filtra el corpus de habla, reteniendo solo aquellas elocuciones cuyas descripciones de imagen asociadas contienen la palabra de consulta.
   • Alineación: Las elocuciones seleccionadas se alinean entre sí para localizar el segmento acústico recurrente correspondiente a la palabra. El artículo explora dos variantes de alineación basadas en representaciones de HuBERT:
     • Alineación de características discretas (DFA): Las características de HuBERT se codifican en unidades discretas mediante agrupamiento k-means. Los pares de secuencias de unidades se alinean utilizando el algoritmo de programación dinámica de Smith-Waterman para producir una señal de coincidencia binaria.
     • Alineación de características continuas (CFA): La alineación se estima computando la similitud de coseno directamente en el espacio de características continuas. Se aplica un filtro de suavizado para reducir el ruido y se utiliza un umbral para binarizar la señal.
   • Agregación (Apilamiento de intervalos): Se calcula un puntaje por elocución agregando los puntajes de alineación entre una elocución específica y todas las demás en el conjunto filtrado. Los segmentos con puntajes agregados altos (que indican una alineación frecuente a través de múltiples elocuciones) se identifican como contenedores de la palabra objetivo.
   • Segmentación: El habla se segmenta basándose en regiones contiguas delimitadas por silencio o fotogramas de valor cero, derivando los puntajes finales a partir de los valores promedio por fotograma.

Contribuciones clave

• Aprendizaje de vocabulario con fundamentación visual: El artículo demuestra un método para construir un vocabulario de palabras habladas y vincularlo con palabras escritas utilizando solo imágenes y habla, eliminando la necesidad de transcripciones manuales.
• Marco de localización novedoso: Adapta las técnicas de descubrimiento de palabras no supervisadas constriñendo el espacio de búsqueda a elocuciones filtradas por contexto visual (subtítulos de imágenes), en lugar de alinear todo el corpus.
• Análisis comparativo de estrategias de alineación: El estudio evalúa métodos de alineación de características tanto continuos como discretos, mostrando que, si bien los métodos continuos ofrecen techos de rendimiento más altos, los métodos discretos son computacionalmente más eficientes y menos dependientes de la precisión del subtitulado.
• Rendimiento de vanguardia: El enfoque supera a una base neuronal fuerte (una Attention CNN actualizada) tanto en la localización de palabras clave como en las tareas de detección de palabras clave.

Resultados experimentales
Los experimentos se realizaron en el conjunto de datos MIT Places Audio Captions (400k pares imagen-habla), utilizando un subconjunto de 20k pares. La verdad de campo se estableció utilizando un sistema ASR (Parakeet TDT-CTC) y alineación forzada (modelo MMS) únicamente para fines de evaluación.

• Rendimiento: El método de alineación de características continuas (CFA) logró los mejores resultados, con una Precisión en el Rango 10 (P@10) del 67.1% para la localización de palabras clave (IoU=0.5) y del 35.4% para la detección. El método discreto (DFA) logró un 64.3% en localización y un 27.7% en detección.
• Comparación con la base: Ambas variantes con fundamentación visual superaron significativamente a la base neuronal (Attention CNN), que obtuvo un 44.4% (localización) y un 25.1% (detección).
• Análisis de la línea base superior: Al utilizar transcripciones de verdad de campo en lugar de subtítulos de imágenes para el filtrado, el rendimiento mejoró significativamente (hasta un 91.7% para la localización de CFA), resaltando la brecha introducida por la alineación imperfecta entre los subtítulos de las imágenes y el habla real.
• Ablación sobre el subtitulado: El estudio encontró que el uso de la intersección de múltiples sistemas de subtitulado mejoró la precisión y el rendimiento de localización descendente, sugiriendo que seleccionar un conjunto de elocuciones más pequeño y altamente precisas es más efectivo que usar un conjunto más grande y ruidoso.
• Modos de falla: El análisis cualitativo reveló que las fallas ocurren a menudo debido a palabras co-ocurrentes (por ejemplo, "box" y "ring" en un contexto de "boxing ring") que son difíciles de desambiguar sin mayor contexto.

Significancia y afirmaciones
El artículo afirma demostrar la viabilidad de conectar el habla con las palabras escritas sin supervisión textual, sentando las bases para futuros trabajos en lenguas de bajos recursos y sin escritura. Los autores posicionan este trabajo como un paso hacia la unión de las modalidades visual y hablada para el descubrimiento de vocabulario. Expresan explícitamente que la tecnología tiene como objetivo apoyar los esfuerzos de documentación lingüística donde no se pueden recolectar transcripciones. Los autores planean extender este trabajo a conjuntos de datos de hindi, yoruba y japonés, utilizando subtituladores de imágenes en inglés para filtrar elocuciones y descubrir asociaciones de habla extranjera en inglés. El objetivo final es desarrollar tecnología que apoye la preservación y documentación de las lenguas locales y el patrimonio cultural.