POLY-SIM: Polyglot Speaker Identification with Missing Modality Grand Challenge 2026 Evaluation Plan

1. O Problema

O artigo aborda duas limitações críticas nos sistemas atuais de identificação de falantes multimodais (que utilizam voz e rosto):

• Modo de Dados Incompleto (Missing Modality): Sistemas tradicionais assumem que os dados de áudio e vídeo estão sempre disponíveis e sincronizados. No entanto, em cenários do mundo real, a informação visual pode estar ausente devido a oclusões, falhas de câmera ou restrições de privacidade.
• Deslocamento Linguístico (Cross-lingual): A maioria dos modelos é treinada em um único idioma (ex: Inglês) e falha ao ser testada em outro (ex: Urdu), devido às variações acústicas e fonéticas entre os idiomas.

O desafio POLY-SIM 2026 visa investigar e desenvolver métodos robustos que possam identificar falantes mesmo quando a modalidade visual está faltando e o idioma de teste difere do idioma de treinamento.

2. Metodologia e Configuração do Desafio

O desafio propõe um cenário de avaliação rigoroso e realista:

• Treinamento: Os modelos são treinados exclusivamente com pares de dados (Rosto + Áudio) em um único idioma (Inglês).
• Teste: A avaliação ocorre em duas condições simultâneas de dificuldade:
  1. A modalidade de rosto está ausente (apenas áudio disponível).
  2. O áudio de teste está em um idioma diferente (Urdu).
• Objetivo: Prever o rótulo do falante ($\hat{y}_j$) baseando-se apenas na representação de áudio ($x^{a,\ell}_j$) em um idioma não visto durante o treinamento, utilizando um modelo treinado em dados bimodais de outro idioma.

Conjunto de Dados (MAV-Celeb):
O desafio utiliza uma adaptação do conjunto de dados MAV-Celeb, que contém amostras de falantes bilíngues (Inglês e Urdu) extraídas de vídeos do YouTube (entrevistas, talk shows).

• O conjunto é dividido hierarquicamente por modalidade, identidade e idioma.
• Estatísticas incluem milhares de amostras para treinamento, validação e teste, cobrindo variações de pose, iluminação e movimento.

3. Protocolo de Avaliação

A robustez dos modelos é medida através de quatro configurações de teste distintas:

1. P3 (In-language Multimodal): Mesmo idioma, ambas as modalidades presentes (Rosto + Áudio).
2. P4 (Missing-modality): Mesmo idioma, apenas áudio (Rosto ausente).
3. P5 (Cross-lingual Multimodal): Idiomas diferentes, ambas as modalidades presentes.
4. P6 (Cross-lingual & Missing-modality): Idiomas diferentes, apenas áudio (Rosto ausente) — Este é o cenário mais desafiador e o foco principal do desafio.

Métrica Principal:
A métrica utilizada é a P-accuracy (Precisão P), que mede a proporção de pares de teste onde o sistema identifica corretamente a identidade entre $P$ candidatos. A pontuação final é a média das acurácias nas configurações P3, P4, P5 e P6.

4. Resultados de Referência (Baseline)

O artigo apresenta resultados iniciais obtidos por um modelo de referência (Baseline) baseado em uma rede de duas ramificações (Face-Audio) com restrições de ortogonalidade:

• Desempenho em Cenário Ideal (P3): Alta acurácia (~98% no conjunto de avaliação), indicando que o modelo aprendeu bem a associação face-voz no idioma de treinamento.
• Queda com Modo Faltante (P4): A acurácia cai drasticamente para ~52% (apenas áudio em Inglês), mostrando a dependência do modelo visual.
• Queda com Deslocamento Linguístico (P5): Mesmo com ambas as modalidades, a mudança para o Urdu reduz a performance para ~98% (ainda alta, mas com margem de melhoria).
• Cenário Crítico (P6): A combinação de idioma diferente e falta de vídeo resulta na pior performance, caindo para 43,87% no conjunto de avaliação. Isso demonstra a extrema dificuldade atual de generalizar para cenários de "polyglot" com dados incompletos.

5. Contribuições Principais

• Definição de um Novo Benchmark: Estabelecimento de um padrão para avaliar a identificação de falantes sob condições de "modo faltante" e "cross-lingual" simultaneamente.
• Kit de Início (Starter Kit): Disponibilização de um modelo pré-treinado competitivo e características pré-extraídas (embeddings) de áudio e imagem para facilitar a entrada de pesquisadores.
• Plataforma de Avaliação: Implementação do desafio na plataforma CodaBench, com regras claras de submissão, limites de tentativas e cronograma definido para a conferência Interspeech 2026.
• Incentivo à Pesquisa: Fomento ao desenvolvimento de técnicas de aprendizado de representação, alinhamento cross-modal e adaptação de domínio para lidar com distribuições de dados desviadas.

6. Significância e Impacto

O POLY-SIM 2026 é significativo porque:

• Realismo: Move a pesquisa de laboratório (dados perfeitos) para cenários de aplicação real (dados incompletos e multilíngues), essenciais para sistemas biométricos, segurança e interação homem-computador.
• Equidade e Robustez: Ao focar na generalização entre idiomas e a resiliência a falhas de sensores, o desafio busca criar sistemas mais justos e confiáveis que não dependam de condições ideais de captura.
• Avanço Científico: O desafio empurra os limites do aprendizado multimodal, exigindo que os modelos aprendam representações de falantes que sejam invariantes ao idioma e robustas à ausência de modalidades visuais.

Em resumo, o artigo não apenas define um problema técnico complexo, mas fornece toda a infraestrutura necessária (dados, código base, métricas) para que a comunidade científica avance na criação de sistemas de identificação de falantes verdadeiramente robustos e universais.