Open-Set Source Tracing as Compositional Factors via Structured Prototypes

Resumen Técnico: Rastreo de Fuentes en Entornos de Conjunto Abierto como Factores Composicionales mediante Prototipos Estructurados

Planteamiento del Problema
El artículo aborda las limitaciones de las tareas actuales de atribución de habla sintética (Rastreo de Fuente), que tradicionalmente tratan una "fuente" como una arquitectura generativa monolítica. Los autores argumentan que este enfoque es forensemente insuficiente porque la salida de un modelo generativo está moldeada por una tupla composicional de factores: la Arquitectura (A), los Datos de Entrenamiento (D) y una Configuración Residual (H) (que abarca hiperparámetros, estocasticidad de la optimización e interacciones no lineales).

El desafío central es que los métodos estándar de Aprendizaje Métrico Profundo (p. ej., ArcFace) comprimen estos factores en un único embedding, causando un entrelazamiento. Esto impide que los modelos generalicen a escenarios de "Conjunto Abierto" (Open-Set), donde una arquitectura conocida se combina con datos no vistos, o viceversa. El artículo define cuatro escenarios de atribución que van desde el Totalmente Cerrado (combinaciones vistas) hasta el Totalmente Abierto (tanto la arquitectura como los datos son no vistos), destacando la necesidad de una generalización composicional.

Metodología
El marco propuesto redefine el rastreo de fuentes como un problema de atribución factorizado utilizando Prototipos Ortonormales Estructurados y Partición de Subespacios. La metodología se construye sobre tres estrategias progresivas:

1. Descomposición de la Variabilidad: Los autores distinguen entre variabilidad inter-fuente (el objetivo: $A \times D \times H$) y variabilidad intra-fuente (factores de molestia como los locutores de referencia o el contenido fonético). El objetivo es hacer que el modelo sea invariante a las variables de inferencia ($i$) mientras captura la tupla de la fuente $s = (a, d, h)$.
2. Estrategia 1: Prototipos Ortonormales Estructurados: En lugar de pesos de clase aprendibles, el modelo utiliza una matriz de prototipos ortonormales fijos $P$. Esto impone una regularidad geométrica y maximiza la separabilidad inter-clase, actuando como un prior fuerte para la identificación en conjuntos abiertos.
3. Estrategia 2: Partición de Subespacios: Para separar explícitamente los factores, el espacio de embedding se particiona en subespacios ortogonales:
   • $Z_A$ (Arquitectura): Alineado con los prototipos de arquitectura.
   • $Z_D$ (Datos de Entrenamiento): Alineado con los prototipos de conjunto de datos.
   • $Z_R$ (Residual): Un subespacio dedicado, sin prototipos, que captura la configuración residual $H$ y la variabilidad no etiquetada.
   • Funciones de Pérdida: El marco emplea una pérdida de entropía cruzada ponderada combinada con términos de Error Cuadrático Medio (MSE) para alinear los embeddings con sus respectivos prototipos. Para el subespacio residual, se introduce una Restricción de Energía para evitar el colapso de la representación o el dominio de la norma, asegurando que $Z_R$ codifique una incertidumbre acotada sin eclipsar los factores primarios.

Contribuciones Clave

• Redefinición de la Identidad de la Fuente: El artículo define formalmente una fuente como una tupla composicional $S = (A, D, H)$ en lugar de una etiqueta única, permitiendo el modelado de características compartidas entre modelos.
• Espacio de Embedding Factorizado: La introducción de la partición de subespacios permite al modelo aprender representaciones marginales para la arquitectura y los datos de forma independiente, facilitando la generalización a nuevas combinaciones de factores conocidos.
• Modelado de Residuales: La inclusión explícita de un subespacio residual ($Z_R$) con restricciones de energía permite al sistema absorber factores no deterministas e interacciones no lineales sin corromper las representaciones de los factores primarios.
• Prototipos Estructurados: El uso de prototipos ortonormales congelados proporciona una estructura geométrica que mejora el rendimiento de pocos disparos (few-shot) en comparación con los pesos aprendibles estándar.

Resultados Experimentales
El marco fue evaluado en el conjunto de datos MLAAD utilizando un protocolo de identificación de conjunto abierto de pocos disparos (K=1, 3, 5 ejemplos de soporte).

• Rendimiento de la Línea Base: El baseline estándar de ArcFace logró una alta precisión en conjunto cerrado (95.11%), pero sufrió una brecha de generalización significativa (13.70%) en escenarios de conjunto abierto.
• Estrategia 1: Mejoró el rendimiento en conjunto abierto respecto a la línea base, pero tuvo dificultades con las "Combinaciones No Vistas" debido a la falta de estructura compartida entre los prototipos.
• Estrategia 2 (Factorizada): Mostró mejoras sustanciales. Específicamente, la Estrategia 2.B (con Modelado de Residuales) logró los mejores resultados generales, alcanzando un F1-Macro de 84.52% en el escenario de "Todos contra Todos" de pocos disparos (K=5).
• Generalización: La Estrategia 2.B redujo significativamente la brecha de generalización (a 9.19%) en comparación con la línea base. Demostró una fortaleza particular en los escenarios de "Arquitectura No Vista" y "Conjunto de Datos No Visto", lo que sugiere que aislar los factores permite al modelo aprovechar los artefactos conocidos derivados de los datos para compensar arquitecturas novedosas, y viceversa.

Significancia y Reivindicaciones
El artículo sostiene que la descomposición de la identidad generativa en representaciones marginales factorizadas es esencial para una atribución robusta en conjuntos abiertos. Los autores afirman que su enfoque:

1. Permite la Generalización Composicional: El sistema puede atribuir audio de nuevas parejas $(A, D)$ recombinando prototipos de factores aprendidos, en lugar de requerir un reentrenamiento exhaustivo para cada nueva fuente.
2. Mejora la Escalabilidad: El enfoque factorizado escala más favorablemente que la clasificación monolítica; representar $C_A \times C_D$ fuentes requiere solo $C_A + C_D$ vectores de base, mientras que los enfoques monolíticos requieren un prototipo único para cada combinación.
3. Ofrece Interpretabilidad: La separación de subespacios sugiere un camino hacia el análisis forense donde la contribución de las pistas arquitectónicas frente a las de los datos puede cuantificarse comparando la similitud dentro de subespacios específicos ($Z_A$ vs. $Z_D$).

Los autores concluyen que, si bien su método supera significativamente a los baselines de margen angular en escenarios de pocos disparos en conjuntos abiertos, la implementación actual absorbe la variabilidad de la inferencia (como los locutores de referencia) en el subespacio residual, dejando la compensación explícita para estas variables como una dirección para trabajos futuros.