A Hybrid Deterministic Framework for Named Entity Extraction in Broadcast News Video

Resumen Técnico: Un Marco Determinista Híbrido para la Extracción de Entidades Nominales en Videos de Noticias de Radiodifusión

Planteamiento del Problema
El ecosistema mediático contemporáneo genera volúmenes vastos de contenido de video, particularmente en formatos de noticias breves a través de plataformas de radiodifusión y redes sociales. Este volumen excede la capacidad de los analistas humanos para procesarlo de manera efectiva. Un desafío crítico radica en la extracción automática de nombres personales incrustados dentro de elementos gráficos dinámicos (por ejemplo, tercios inferiores, cintillos, titulares). Estos elementos exhiben una variabilidad significativa en tipografía, disposición espacial, color y movimiento, lo que dificulta la interpretación mecánica precisa. Además, una encuesta de usuario realizada como parte de este estudio reveló que el 59% de los encuestados experimenta dificultades para leer nombres en pantalla debido a la velocidad de visualización y la variación tipográfica, lo que resalta una brecha de accesibilidad. Si bien los modelos multimodales generativos ofrecen flexibilidad, su naturaleza estocástica plantea preocupaciones respecto a la consistencia fáctica, la reproducibilidad y la falta de un linaje de datos transparente requerido en contextos periodísticos y analíticos.

Metodología
El estudio propone un marco determinista integral compuesto por tres componentes principales: la construcción de un conjunto de datos, un flujo de extracción modular y una evaluación comparativa frente a bases de referencia generativas.

1. El Conjunto de Datos de Gráficos de Noticias (NGD):
   Para abordar la falta de anotaciones detalladas para las superposiciones gráficas, los autores curaron el NGD. Este consiste en 1,500 fotogramas extraídos de 300 videos (equilibrados entre fuentes locales, internacionales y nativas de redes sociales). El conjunto de datos incluye 4,749 anotaciones a nivel de región en seis categorías: Gráficos de Noticias de Última Hora, Gráficos Digitales en Pantalla, Tercios Inferiores, Titulares, Cintillos y Otros Gráficos de Noticias. Los fotogramas se estandarizaron a 640×640 píxeles, se aumentaron con ajustes de brillo y ruido, y se dividieron en un 93% para entrenamiento, 4% para validación y 3% para pruebas, aplicando deduplicación temporal para minimizar la filtración de datos.

2. El Flujo de Extracción de Nombres Preciso (ANEP):
   ANEP es un flujo de cinco etapas e interpretable diseñado para un linaje de datos transparente:

   • Procesamiento de Fotogramas: Muestreo a 1 FPS con eliminación de redundancia mediante hashing perceptual.
   • Detección de Gráficos: Utilización de un detector YOLOv12 (medium) entrenado desde cero en el NGD para localizar elementos gráficos.
   • Extracción de Texto: Aplicación de Reconocimiento Óptico de Caracteres (OCR) con mejora de contraste y umbralización adaptativa, filtrando las salidas por confianza.
   • Reconocimiento de Entidades Nominales (NER) y Validación: Combinación de un modelo NER basado en transformadores ajustado y un flujo lingüístico suplementario con filtros heurísticos para validar nombres personales.
   • Agrupamiento y Generación de Línea de Tiempo: Fusión de variantes de nombres utilizando similitud difusa, de Jaccard y basada en embeddings para producir nombres canónicos y perfiles de ocurrencia temporal.

3. Bases de Referencia Comparativas:
   El flujo determinista fue evaluado contra dos sistemas multimodales generativos: Gemini 1.5 Pro y LLaMA 4 Maverick. Estos modelos procesaron fotogramas de video deduplicados (codificados en base64) utilizando prompts estructurados para extraer nombres personales, con salidas devueltas en formato JSON.

Contribuciones Clave

• Creación de Conjunto de Datos: La introducción del NGD, un corpus curado que captura la diversidad tipográfica y espacial de los gráficos de noticias modernos, permitiendo la evaluación sistemática de la extracción de texto visual.
• Flujo de Trabajo Determinista: El desarrollo de ANEP, un marco modular que integra Visión Computacional (CV), OCR y NER. A diferencia de los modelos generativos de extremo a extremo, ANEP ofrece control explícito, salidas consistentes y una saliencia verificable en cada etapa de procesamiento.
• Análisis Sistemático: Un benchmark comparativo que cuantifica las compensaciones entre la auditabilidad y confiabilidad de los flujos deterministas frente a la precisión bruta y el razonamiento estocástico de los enfoques multimodales generativos.

Resultos

• Detección de Objetos: El modelo YOLOv12(m) entrenado localmente alcanzó el mayor rendimiento en el NGD, llegando al 95.8% de mAP@0.5, con 93.9% de precisión y 93.5% de exhaustividad (recall). El análisis Grad-CAM confirmó el enfoque del modelo en regiones densas de texto, y demostró una generalización robusta a transmisiones no vistas, incluyendo aquellas con destellos y artefactos de compresión.
• Desempeño de la Extracción de Nombres:
  • Gemini 1.5 Pro: Logró la mayor precisión bruta con un F1 score de 84.18% (93.33% de precisión, 76.67% de exhaustividad) y el tiempo de ejecución más rápido (94.68s). Sin embargo, opera como una caja negra con interpretabilidad limitada.
  • ANEP: Entregó un F1 score equilibrado de 77.08% (79.92% de precisión, 74.44% de exhaustividad). Aunque es más lento (542.15s) debido a su naturaleza secuencial de múltiples etapas, proporciona trazabilidad total y evita las alucinaciones.
  • LLaMA 4 Maverick: Tuvo el desempeño más débil con un F1 score de 57.14%, enfrentando dificultades con el texto superpuesto y limitaciones de la ventana de contexto en segmentos largos.
• Análisis de Errores: Las limitaciones primarias de ANEP incluyeron variaciones de cadena inducidas por el OCR (especialmente con diacríticos) y dificultades para resolver referencias indirectas o texto fuertemente distorsionado. Los modelos generativos mostraron latencia variable y problemas de reproducibilidad.

Significancia y Reivindicaciones
El artículo establece que, si bien los sistemas multimodales generativos pueden lograr una precisión de extracción bruta marginalmente superior, carecen del linaje de datos transparente esencial para aplicaciones periodísticas y forenses. El marco propuesto ANEP ofrece una base metodológicamente rigurosa e interpretable que prioriza la auditabilidad y la rendición de cuentas. Los hallazgos de la encuesta de usuarios refuerzan esto, indicando que el 62.2% de los encuestados confían en los sistemas automatizados solo si su operación es transparente.

Los autores concluyen que los flujos deterministas siguen siendo esenciales para escenarios que requieren vías de decisión verificables, incluso mientras los modelos generativos continúan evolucionando. El trabajo avanza en el campo del análisis de medios al proporcionar un enfoque híbrido robusto que equilibra la viabilidad operativa con los requisitos éticos de la extracción de información en los medios de noticias modernos. Se sugiere como trabajo futuro abordar scripts no latinos, integrar metadatos semánticos más ricos (por ejemplo, afiliaciones) y explorar arquitecturas de transformadores multimodales para la desambiguación en tiempo real.