PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation

1. El Problema

Las expresiones idiomáticas representan un desafío fundamental para la semántica computacional debido a su significado no composicional (el significado global no se deduce de la suma de sus partes). Los modelos de lenguaje y visión entrenados principalmente con datos literales tienden a interpretar las frases palabra por palabra, lo que provoca una "deriva semántica" en tareas como traducción, recuperación y generación de subtítulos.

Este problema se agrava en escenarios multilingües, donde la lexicalización y la transparencia de los modismos varían entre idiomas. La tarea AdMIRe 2.0 (parte de MWE-2026) plantea dos subproblemas para abordar esto:

• Subtarea A: Clasificar y ordenar cinco imágenes candidatas según su adecuación al significado intencionado de un compuesto nominal en una oración (puede ser literal o idiomático).
• Subtarea B: Realizar la misma tarea de ordenamiento pero utilizando solo descripciones de texto (captions) en lugar de imágenes, probando el razonamiento puramente textual.

El objetivo es desarrollar sistemas que puedan distinguir entre usos literales e idiomáticos y alinear correctamente el sentido con señales visuales o textuales sin necesidad de un ajuste fino (fine-tuning) masivo de los modelos base.

2. Metodología: Sistema PolyFrame

El sistema PolyFrame propone una tubería (pipeline) unificada que mantiene los codificadores de visión-lenguaje congelados y entrena únicamente módulos ligeros. La arquitectura se basa en cuatro etapas principales (ver Figura 1 del artículo):

A. Codificadores y Representaciones

• Codificadores Congelados: Se utilizan encoders de estilo CLIP (específicamente SigLIP2 para visión-lenguaje y BGE M3 para codificación de texto multilingüe) sin ajuste fino.
• Enfoque: La capacidad de aprendizaje se restringe a clasificadores ligeros y mecanismos de fusión, evitando el costo computacional y el riesgo de sobreajuste de reentrenar grandes modelos multimodales.

B. Etapas del Pipeline

1. Predicción del Tipo de Oración (Sentence Typing):
   • Determina si la oración es literal o idiomática.
   • Combina un clasificador de regresión logística entrenado sobre características de BGE M3 (para inglés) y un mecanismo de prompting con LLMs externos (como GPT-4o, Qwen3) que utiliza ejemplos literales primero ("literal-first prompting") como fallback multilingüe.
2. Reescritura de Modismos (Idiom Rewrite):
   • Si la oración se clasifica como idiomática, el sistema reemplaza el compuesto nominal problemático con un sinónimo composicional que hace explícito el significado figurado.
   • Si es literal, la oración se mantiene sin cambios.
   • Esta etapa es crítica para reducir el sesgo literal de los modelos de visión.
3. Puntuación de Similitud (Scoring):
   • Se generan tres flujos de puntuación de similitud "zero-shot":
     1. SigLIP2: Oración ↔ Imágenes.
     2. BGE M3: Oración ↔ Captions.
     3. SigLIP2 (encoder de texto): Oración ↔ Captions.
4. Fusión Borda (Borda Rank Fusion):
   • Se combinan las listas de clasificación de los tres flujos anteriores utilizando una agregación ponderada de Borda.
   • Pesos: En modo multimodal (Subtarea A), los pesos son [0.6, 0.3, 0.1] (priorizando la visión). En modo solo texto (Subtarea B), los pesos se ajustan a [0.0, 0.7, 0.3] para ignorar la visión y enfocarse en el texto.

3. Contribuciones Clave

• Pipeline Unificado: Un marco único que maneja tanto la disambiguación multimodal (imagen + texto) como la puramente textual, compartiendo componentes de preprocesamiento y fusión.
• Estrategia de "Sin Ajuste Fino" (No Fine-tuning): Demuestra que es posible lograr un rendimiento robusto en la disambiguación de modismos manteniendo los grandes modelos de encoders congelados y entrenando solo componentes ligeros (clasificadores binarios y pesos de fusión).
• Reescritura Consciente de Modismos: La introducción de un paso de reemplazo de sinónimos para hacer explícito el significado figurado antes de la codificación se identifica como la contribución técnica más impactante.
• Transferencia Zero-Shot Multilingüe: El sistema logra transferir el conocimiento de inglés a otros idiomas (como portugués) sin datos de entrenamiento específicos, utilizando la capacidad multilingüe de BGE M3 y SigLIP2.

4. Resultados

Los experimentos se realizaron en los conjuntos de desarrollo y prueba de inglés (EN) y en una prueba ciega multilingüe de 15 idiomas.

• Línea Base (CLIP): El modelo base sin mejoras obtuvo un 26.7% de precisión Top-1 en el desarrollo de inglés y solo 6.7% en la prueba, evidenciando el fuerte sesgo literal.
• Impacto de las Mejoras:
  • La reescritura de modismos fue el factor principal de mejora, elevando la precisión Top-1 en inglés al 60.0%.
  • La clasificación de tipo de oración mejoró la estabilidad, pero por sí sola no fue suficiente (40.0%).
  • La combinación de todas las mejoras (reescritura + clasificación + fusión) mantuvo el 60.0% Top-1 en inglés y logró un 60.0% Top-1 (con NDCG@5 de 0.822) en transferencia zero-shot a portugués.
• Prueba Ciega Multilingüe (15 idiomas):
  • Subtarea A (Imagen+Texto): Precisión Top-1 promedio de 0.35 y NDCG de 0.73.
  • Subtarea B (Solo Texto): Precisión Top-1 promedio de 0.32 y NDCG de 0.71.
  • El rendimiento fue consistente entre idiomas, incluyendo conjuntos en chino y no chinos, demostrando un comportamiento cruzado estable.

5. Significado y Conclusiones

El trabajo de PolyFrame demuestra que la disambiguación efectiva de modismos multimodales no requiere el ajuste fino de grandes encoders multimodales, lo cual es costoso y difícil de generalizar.

• Hallazgo Principal: La mayor parte de la ganancia de rendimiento proviene de una mejor formulación del problema de emparejamiento (mediante la reescritura de modismos y la fusión de modalidades) en lugar de modelos de lenguaje más potentes.
• Eficiencia: El enfoque de "encoders congelados + adaptadores ligeros" ofrece una alternativa viable, transparente y eficiente frente a soluciones que dependen de LLMs pesados o fine-tuning extensivo.
• Limitaciones: La base de datos de reescritura de modismos es manual y limitada a ~50 modismos en inglés, lo que restringe la eficacia en idiomas no cubiertos o expresiones menos frecuentes. El futuro trabajo apunta a aprender pesos de fusión y explorar arquitecturas codificador-decodificador.

En resumen, PolyFrame establece un nuevo estándar para tareas de desambiguación semántica multimodal, priorizando la ingeniería de características y la fusión estratégica sobre el aumento de la capacidad del modelo base.