MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

Resumen Técnico: MERGE – Generalización de Reemplazo de Expresiones Mínimas

Planteamiento del Problema
Los modelos actuales de Inferencia de Lenguaje Natural (NLI) suelen lograr un alto rendimiento en conjuntos de prueba estándar explotando heurísticas aprendidas de los datos de entrenamiento, como la superposición de palabras o artefactos exclusivos de la hipótesis, en lugar de una capacidad de razonamiento genuina. Aunque se han utilizado conjuntos de datos fuera de distribución (OOD) para exponer estas debilidades, los enfoques existentes suelen depender de ejemplos adversarios que rompen deliberadamente las heurísticas comunes o utilizan modificaciones que no preservan la sintaxis e introducen falta de plausibilidad. La construcción manual de conjuntos de datos de razonamiento de alta calidad es costosa y difícil de escalar, mientras que los métodos de generación automática han sufrido históricamente de sesgo o de la creación de variantes agramaticales. Existe la necesidad de un método robusto y automatizado para evaluar la generalización de los modelos frente a cambios mínimos, no adversariales, que preserven el razonamiento lógico subyacente y la estructura sintáctica de los problemas originales.

Metodología: MERE y MERGE
Los autores proponen MERGE (Minimal Expression-Replacement GEneralization), un marco para evaluar la robustez de los modelos, construido sobre MERE (Minimal Expression REplacement), una técnica de generación automatizada.

1. Proceso de Generación de MERE:

   • Selección de Semilla (Seed Selection): El proceso comienza con un problema "semilla" de NLI original que consiste en una premisa ($p$) y una hipótesis ($h$) con una etiqueta $l$.
   • Identificación de Objetivos: El sistema identifica palabras de clase abierta (sustantivos, verbos, adjetivos, adverbios) compartidas entre $p$ y $h$.
   • Reemplazo mediante MLMs: Se utilizan Modelos de Lenguaje con Máscara (MLMs) para sugerir reemplazos contextualmente probables para estas palabras compartidas.
   • Restricciones: Para asegurar la validez, los reemplazos ($r$) deben satisfacer tres condiciones:
     1. $r$ tiene una probabilidad mayor que la palabra original ($o$) en el contexto enmascarado bajo el MLM.
     2. $r$ no aparece ya en la oración.
     3. $r$ pertenece a la misma categoría gramatical (clase de palabra) que $o$.
   • Validación Cruzada: Los reemplazos se validan a través de tanto $p$ como $h$ para asegurar que sean sugeridos por el mismo modelo para múltiples ocurrencias dentro de una oración y que sean consistentes en el par.
   • Filtrado de Calidad: Un proceso de filtrado de múltiples etapas elimina subpalabras, puntuación y candidatos de baja probabilidad. La validación manual confirma la fluidez y la preservación de la relación de inferencia original.
   • Construcción del Conjunto de Datos: Para cada semilla, se generan múltiples variantes reemplazando las palabras compartidas. El conjunto de datos final (Var) se construye muestreando aleatoriamente las variantes para evitar la sobrerrepresentación de semillas altamente productivas.

2. Métrica de Evaluación MERGE:

   • A diferencia de la precisión estándar basada en muestras, MERGE introduce la precisión de Semilla-Variante (SV accuracy).
   • Un problema de semilla se considera correctamente clasificado solo si un mínimo Umbral de Corrección (CT) de sus variantes generadas también es clasificado correctamente.
   • El umbral de Corrección de Coincidencia (MC) se define como el CT en el cual la puntuación SV de un modelo coincide más estrechamente con su precisión de semilla estándar. Un MC más bajo indica una peor generalización.

Contribuciones Clave

1. Metodología Automatizada: Un flujo de trabajo totalmente automatizado (MERE) para crear conjuntos de prueba de generalización "amigables" que preservan el razonamiento, la sintaxis y la superposición de palabras mientras introducen una diversidad léxica mínima.
2. Hallazgos Empíricos sobre la Generalización: Evidencia que demuestra que tanto los modelos de NLI ajustados como los Modelos de Lenguaje Extensos (LLMs) generalizan deficientemente ante variantes mínimas. Los modelos luchan por mantener la consistencia cuando las variantes difieren solo ligeramente en su forma.
3. Análisis Lingüístico: Identificación de que los verbos son generalmente la clase de palabra más difícil para generalizar, seguidos de los sustantivos y los adjetivos.
4. Independencia de la Fuente: Hallazgos que indican que el MLM fuente específico utilizado para generar las variantes no sesga significativamente el rendimiento de los modelos de NLI evaluados.

Resultados

• Brecha de Generalización: Mientras que los modelos funcionan bien en variantes individuales (precisión estándar), su rendimiento cae significativamente cuando se evalúa la consistencia de las variantes por semilla (precisión SV). La mayoría de los modelos mantienen su rendimiento original solo cuando el umbral de corrección se establece aproximadamente en el 50% o menos. Más allá de este umbral, el rendimiento declina drásticamente, particularmente para los LLMs.
• Comparación de Conjuntos de Datos: Los modelos mostraron una generalización ligeramente mejor en las variantes de MNLI en comparación con las de SNLI.
• Sensibilidad de la Clase de Palabra:
  • Verbos: Consistentemente la clase más difícil de generalizar, especialmente en umbrales de corrección altos.
  • Sustantivos: Generalmente más difíciles que los adjetivos pero más fáciles que los verbos en MNLI; más difíciles que los verbos en SNLI en umbrales altos.
  • Adjetivos: Generalmente la clase más fácil de generalizar.
• Impacto de la Fuente del MLM: El origen de las palabras de reemplazo (por ejemplo, usar BERT para generar variantes para un modelo de NLI basado en BERT) no condujo a puntuaciones sistemáticamente más altas o más bajas, lo que sugiere que el método de generación no sesga inherentemente la evaluación hacia arquitecturas de modelos específicas.
• Dificultad de la Semilla: Los modelos funcionaron significativamente peor en problemas de semilla que inicialmente clasificaron erróneamente, con solo ~80% de sus variantes siendo correctas, comparado con ~97% para las semillas clasificadas correctamente.

Significancia y Reivindicaciones
El artículo afirma que MERGE proporciona una prueba rigurosa y no adversaria de la generalización que revela las debilidades de los modelos actuales de vanguardia que las métricas estándar ocultan. Al imponer la consistencia a través de variantes mínimas que preservan la etiqueta, el estudio demuestra que los modelos dependen fuertemente de claves léxicas específicas en lugar de un razonamiento robusto. Los autores posicionan a MERGE como una herramienta para revelar "nuevos tipos de debilidades" en los modelos de razonamiento sin la necesidad de una costosa construcción manual de conjuntos de datos o la introducción de ruido adversario. Aunque actualmente se aplica a NLI, los autores señalan que la metodología es aplicable a otras tareas de razonamiento.

Limitaciones
Los autores reconocen algunas limitaciones:

• El método no reemplaza palabras que se tokenizan en subpalabras para evitar artefactos de agregación de probabilidad.
• Cuando una palabra aparece varias veces, solo se enmascara una instancia a la vez, lo que podría introducir sesgo (aunque estos casos son raros en los conjuntos de datos semilla).
• No se reemplazan las derivaciones morfológicas para evitar errores en compuestos nominales, lo que ocasionalmente puede conducir a variantes de baja fluidez.
• El análisis no incluyó LLMs más grandes aparte de los probados.