PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation

Resumo Técnico: PolyFrame para a Tarefa AdMIRe 2

1. O Problema

As expressões idiomáticas representam um desafio persistente para a semântica computacional devido aos seus significados não composicionais (o significado figurado não pode ser deduzido apenas das palavras individuais).

• Desafio Principal: Modelos de linguagem multimodal, treinados predominantemente em dados literais, tendem a interpretar idiomas palavra por palavra, causando "deriva semântica" em tarefas como tradução, recuperação e geração de legendas.
• Complexidade Multilingue: O problema é amplificado em cenários multilíngues, onde a lexicalização e a transparência dos idiomas variam entre línguas.
• Contexto da Competição: A tarefa AdMIRe 2.0 (Multimodal Idiom Disambiguation) propõe dois subproblemas:
  • Subtarefa A: Classificar e ranquear 5 imagens candidatas de acordo com o significado pretendido de um composto nominal em uma frase (ex: distinguir se "big fish" refere-se a um peixe grande ou a uma pessoa importante).
  • Subtarefa B: Realizar o mesmo ranqueamento, mas substituindo as imagens por legendas (texto), testando o raciocínio puramente textual.

2. Metodologia: Sistema PolyFrame

O sistema PolyFrame adota uma abordagem de "pipeline unificado" que evita o ajuste fino (fine-tuning) de grandes modelos multimodais, focando em módulos leves e adaptáveis.

Arquitetura Base:

• Codificadores Congelados: Utiliza codificadores de visão-linguagem do estilo CLIP (especificamente SigLIP2 para visão e BGE-M3 multilíngue para texto) que permanecem congelados durante o treinamento.
• Fase 1: Classificação de Tipo de Frase (Sentence Typing):
  • Determina se a frase é literal ou idiomática.
  • Combina um classificador de regressão logística treinado com recursos do BGE-M3 e uma estratégia de prompting com LLMs externos (GPT-4o, Qwen3, etc.) que usa exemplos "literais primeiro" como fallback multilíngue.
• Fase 2: Reescrita de Idiomas (Idiom Rewrite):
  • Se a frase for classificada como idiomática, o sistema substitui o composto nominal por um paráfrase composicional que torna o significado figurado explícito (ex: substituir "big fish" por "pessoa importante").
  • Frases literais permanecem inalteradas.
• Fase 3: Pontuação de Similaridade (Zero-Shot):
  • O sistema gera três fluxos de pontuação de similaridade:
    1. SigLIP2: Frase ↔ Imagens.
    2. BGE-M3: Frase ↔ Legendas (texto).
    3. SigLIP2: Frase ↔ Legendas (via encoder de texto do SigLIP).
• Fase 4: Fusão de Ranqueamento (Borda Fusion):
  • As pontuações dos três fluxos são convertidas em ranques e combinadas usando uma agregação de contagem de Borda ponderada.
  • Pesos: Para a Subtarefa A (Imagem+Texto), os pesos são [0.6, 0.3, 0.1] (priorizando a visão). Para a Subtarefa B (Texto apenas), os pesos são ajustados para [0.0, 0.7, 0.3], ignorando a visão.

3. Contribuições Principais

1. Pipeline Unificado: Uma arquitetura única que lida com ambas as modalidades (imagem e texto) e ambos os subproblemas da tarefa sem necessidade de reengenharia profunda.
2. Estratégia de "Sem Ajuste Fino" (No Fine-Tuning): Demonstra que é possível obter desempenho de ponta mantendo os grandes modelos de base congelados, aprendendo apenas classificadores leves e pesos de fusão.
3. Reescrita de Idiomas como Alavanca: Identifica que a substituição de expressões idiomáticas por paráfrases composicionais é o fator mais crítico para melhorar o desempenho, reduzindo o viés literal dos modelos.
4. Transferência Zero-Shot: O sistema demonstra capacidade de generalização eficaz para línguas não vistas durante o treinamento (ex: Português e 15 línguas no teste cego), utilizando apenas a capacidade multilíngue dos codificadores e prompts.

4. Resultados

Os resultados foram avaliados usando as métricas oficiais da AdMIRe 2.0 (Top-1 Accuracy e NDCG@5).

• Desempenho em Inglês (Dev):
  • Baseline (CLIP puro): 26,7% de Top-1.
  • Com Reescrita de Idiomas: Salto para 60,0% de Top-1.
  • Sistema Completo (Reescrita + Classificação + Fusão): Mantém 60,0% de Top-1 com maior robustez.
• Transferência Zero-Shot (Português):
  • Alcançou 60,0% de Top-1 e 0,822 NDCG@5, demonstrando que as estratégias aprendidas em inglês generalizam bem para línguas relacionadas sem treinamento específico.
• Teste Cego Multilíngue (15 línguas):
  • Subtarefa A: Média de Top-1 de 0,35 e NDCG de 0,73.
  • Subtarefa B: Média de Top-1 de 0,32 e NDCG de 0,71.
  • O desempenho foi consistente entre línguas, incluindo conjuntos de dados em chinês e não-chinês.

Análise de Ablação:

• A reescrita de idiomas foi o contribuinte mais significativo para o ganho de desempenho.
• A predição do tipo de frase melhorou a estabilidade e reduziu a variância, mas teve um ganho incremental menor comparado à reescrita.
• A fusão multimodal superou consistentemente o ranqueamento unimodal.

5. Significado e Conclusão

O trabalho PolyFrame prova que a desambiguação eficaz de idiomas em cenários multimodais não exige o ajuste fino de grandes modelos de codificação (que são custosos e pouco transparentes). Em vez disso, a chave reside em:

1. Reformulação do Problema: Transformar a entrada idiomática em uma forma composicional que os modelos visuais conseguem entender.
2. Fusão Inteligente: Combinar sinais visuais e textuais de forma ponderada.
3. Adaptabilidade Leve: Usar módulos pequenos para classificar o contexto e ajustar a estratégia de busca.

O sistema destaca que, embora a disambiguação baseada em legendas possa aproximar a baseada em imagens quando as legendas são informativas, ainda existem desafios persistentes em línguas de baixo recurso e variedades culturalmente marcadas. O trabalho sugere um caminho futuro para sistemas multimodais mais eficientes e interpretáveis, focando em adaptações transparentes em vez de modelos "caixa preta" massivos.