Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering

Resumen Técnico: Simorgh en SemEval-2026 Tarea 7

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) demuestran alta competencia en razonamiento general y conocimiento cultural centrado en Occidente, muestran una degradación significativa del rendimiento al abordar preguntas fundamentadas culturalmente de contextos orientales o regiones de bajos recursos. Esta disparidad se origina en los corpus de entrenamiento (por ejemplo, Wikipedia, Common Crawl) que están fuertemente sesgados hacia idiomas y perspectivas dominantes, lo que conduce a distribuciones desequilibradas del conocimiento cultural cotidiano. En consecuencia, los modelos a menudo producen respuestas incompletas, excesivamente generales o alucinadas cuando se les consulta sobre dominios socio-culturales específicos como la cocina, la dinámica familiar o las fiestas locales en idiomas como el amárico, el hausa o el sundanés. El desafío central abordado en este artículo es mejorar la precisión y la adecuación cultural de la respuesta a preguntas de opción múltiple (MCQA) en estos contextos subrepresentados sin depender exclusivamente del conocimiento paramétrico.

Metodología
Los autores proponen una tubería de dos pasos, denominada Simorgh, diseñada para la prueba BLEnD (SemEval-2026 Tarea 7). La arquitectura del sistema integra un mecanismo de Recuperación Híbrida Consciente de la Región con un Motor de Inferencia de LLM Cuantizado.

1. Clasificador de Evidencia Híbrido:

   • Coincidencia Léxica: Utiliza el algoritmo estándar BM25 con tokenización basada en límites de palabras para capturar coincidencias exactas de palabras clave entre la consulta y la evidencia documental.
   • Similitud Semántica: Emplea el SentenceTransformer all-MiniLM-L6-v2 para generar incrustaciones densas, calculando la similitud del coseno entre la pregunta y la evidencia.
   • Heurística Consciente de la Región: Se aplica una heurística de ponderación novedosa a las puntuaciones combinadas. Si el texto de la evidencia recuperada contiene referencias regionales explícitas, se aplica un bono del 30% a la puntuación.
   • Fórmula de Puntuación: La puntuación de clasificación final se calcula como:
     $$\text{PuntuaciónFinal} = (0.4 \cdot \text{BM25} + 0.6 \cdot \text{Semántica}) \cdot (1 + \text{BonoRegional})$$
   • Salida: Se extraen los 5 fragmentos de evidencia con mayor puntuación para la etapa de inferencia.

2. Motor de Inferencia de LLM Cuantizado:

   • Modelo: El sistema utiliza el modelo Qwen3-14B, cargado con cuantización de 4 bits NormalFloat (nf4) con doble cuantización para optimizar el uso de VRAM y permitir el agrupamiento eficiente.
   • Construcción del Prompt: El modelo se solicita como un "modelo de razonamiento cultural". Los 5 documentos recuperados se insertan directamente por encima de la pregunta y las cuatro opciones de respuesta (A, B, C, D) dentro de la ventana de contexto. Si no se recupera evidencia, el modelo recurre a su conocimiento paramétrico.
   • Selección Determinista: En lugar de generar texto libre (lo que conlleva riesgos de errores de formato), el sistema emplea una selección determinista basada en logits. Extrae los valores de predicción del siguiente token estrictamente para los tokens 'A', 'B', 'C' y 'D', seleccionando la opción con la mayor masa de probabilidad.

Contribuciones Clave

• Recuperación Híbrida Consciente de la Región: El artículo introduce una estrategia de recuperación que combina la coincidencia léxica (BM25) y semántica (densa) con una heurística específica para priorizar la evidencia que contiene referencias regionales, con el objetivo de mejorar la relevancia del contexto recuperado para el razonamiento situado culturalmente.
• Prompting Estructurado para Razonamiento Cultural: El enfoque demuestra cómo integrar eficazmente la evidencia cultural recuperada en un prompt estructurado para un LLM cuantizado que realice MCQA.
• Salida Determinista Basada en Logits: Al eludir el texto generativo para la selección de respuestas, el método asegura la robustez del formato y la eficiencia computacional, mapeando directamente la calidad de la recuperación a la selección de la respuesta.

Resultados
Los experimentos realizados en la prueba BLEnD (que cubre 30 idiomas y 16 regiones) indican que el enfoque de recuperación híbrida mejora la estabilidad multilingüe en comparación con la inferencia puramente paramétrica.

• Brechas de Rendimiento: Aunque el enfoque híbrido mitiga algunas disparidades, persiste una brecha notable de rendimiento entre los idiomas de altos recursos (por ejemplo, inglés, francés) y los idiomas de bajos recursos (por ejemplo, amárico, hausa, sundanés).
• Impacto de la Recuperación: Los resultados sugieren que la ampliación basada en recuperación ayuda a estabilizar el rendimiento entre idiomas, aunque no supera completamente las limitaciones impuestas por los desequilibrios en los datos de entrenamiento. Los idiomas de altos recursos continúan demostrando una precisión significativamente mayor que sus contrapartes de bajos recursos.

Significado y Limitaciones
El artículo afirma que incorporar la coincidencia léxica, la similitud semántica y la clasificación priorizada regionalmente en un modelo de recuperación híbrida e inferencia basada en logits ayuda a estabilizar el rendimiento del razonamiento intercultural. Sin embargo, los autores mantienen una postura modesta respecto a la completitud de la solución. Reconocen que la ampliación por recuperación por sí sola es insuficiente para abordar completamente los desequilibrios creados por los corpus de preentrenamiento a gran escala.

Las limitaciones específicas identificadas incluyen:

• Dependencia de Colecciones Externas: La eficacia del sistema está limitada por la disponibilidad de documentos culturales relevantes; si el corpus externo carece de datos culturales específicos, el módulo de recuperación puede fallar al proporcionar evidencia significativa.
• Restricciones de la Heurística: La heurística de ponderación regional puede fallar cuando las referencias culturales son implícitas en lugar de estar explícitamente declaradas en el texto.
• Profundidad de Razonamiento: La estrategia de selección basada en logits limita el razonamiento a las distribuciones de probabilidad del siguiente token, perdiendo potencialmente la deliberación matizada y de múltiples pasos requerida para inferencias culturales complejas.
• Efectos de Cuantización: Aunque la cuantización de 4 bits ayuda a la eficiencia, puede introducir pérdidas menores de precisión representacional, afectando potencialmente el rendimiento en idiomas lingüísticamente complejos o gramaticalmente ricos.

Los autores concluyen que el trabajo futuro debe centrarse en desarrollar modelos de región dinámicos, mecanismos de reordenamiento informados culturalmente y estrategias de ajuste fino dirigidas específicamente a comunidades lingüísticas de bajos recursos para mejorar aún más la integridad y la equidad de las evaluaciones de LLM.