Estimating Commonsense Plausibility through Semantic Shifts

1. El Problema

La estimación de la plausibilidad del sentido común (CSPE) es fundamental para evaluar la calidad de los Modelos de Lenguaje (LMs) y garantizar que sus salidas sean coherentes con el conocimiento humano cotidiano. Sin embargo, los enfoques existentes presentan limitaciones significativas:

• Enfoques Generativos: Los métodos actuales se basan principalmente en la estimación de verosimilitud (probabilidad de tokens) o en juicios verbalizados (pedir al modelo que responda en lenguaje natural).
• Falta de Discriminación Fina: Estos métodos generativos a menudo luchan para realizar distinciones sutiles y de "granularidad fina". Por ejemplo, pueden fallar al diferenciar entre atributos plausibles pero menos comunes frente a los implausibles, debido a sesgos de reporte en los datos de entrenamiento (ej. la frase "oveja negra" es un modismo, lo que hace que los modelos sobreestimen la probabilidad de que las ovejas sean negras, aunque visualmente sean mayoritariamente blancas).
• Necesidad de Marcos de Evaluación: Existe una carencia de marcos robustos para evaluar la plausibilidad textual de manera cuantificable y precisa, más allá de la clasificación binaria.

2. Metodología: ComPaSS

Los autores proponen ComPaSS (Commonsense Plausibility through Semantic Shifts), un marco discriminativo novedoso que no requiere entrenamiento específico para la tarea (zero-shot).

Principio Central:
La idea fundamental es que la adición de información plausible relacionada con el sentido común a una oración induce un desplazamiento semántico mínimo, mientras que la adición de información implausible causa una desviación sustancial.

Proceso de Funcionamiento:

1. Construcción de Oraciones:
   • Se crea una oración ancla ($s_{anchor}$) que contiene el contexto base pero omite el detalle de sentido común específico.
   • Se crea una oración candidata ($s_{candi}$) que incorpora la información a evaluar (el atributo o respuesta candidata).
   • Ejemplo: Ancla: "Hay un pingüino". Candidato: "Hay un pingüino negro" (plausible) vs. "Hay un pingüino verde" (implausible).
2. Representación Semántica:
   • Ambas oraciones se codizan utilizando un modelo preentrenado ($\theta$), que puede ser un Modelo de Lenguaje (LM) o un Modelo Visión-Lenguaje (VLM).
   • Se obtienen representaciones vectoriales densas ($r_{anchor}$ y $r_{candi}$).
3. Cálculo de Similitud y Ranking:
   • Se calcula la similitud semántica (ej. similitud coseno) entre los vectores.
   • Puntuación de Plausibilidad: $p_i \propto sim(r_{anchor}, r_{candi})$.
   • Cuanto mayor sea la similitud (menor desplazamiento semántico), más plausible se considera la información. Las opciones se clasifican según esta puntuación.

Adaptabilidad:
El método es agnóstico a la arquitectura y funciona tanto con entradas estructuradas (tripletas) como con texto libre (preguntas abiertas). Utiliza plantillas para entradas estructuradas y LLMs (como GPT-4) para generar oraciones coherentes a partir de preguntas abiertas.

3. Contribuciones Clave

1. Cambio de Paradigma a lo Discriminativo: Demuestran que un enfoque discriminativo basado en desplazamientos semánticos supera a los enfoques generativos tradicionales (verosimilitud y verbalización) en tareas de plausibilidad fina.
2. Ventaja de los Modelos Visión-Lenguaje (VLMs): Muestran que los VLMs (como CLIP y EVA-CLIP) superan significativamente a los LMs puramente textuales en tareas de sentido común basadas en visión (colores, formas, relaciones espaciales), mitigando el sesgo de reporte de los datos textuales.
3. Importancia del Aprendizaje Contrastivo: Evidencian que los modelos preentrenados con aprendizaje contrastivo (que aprenden a distinguir matices semánticos) mejoran drásticamente el rendimiento de ComPaSS, ya que permiten detectar desplazamientos semánticos más sutiles.
4. Eficiencia de Parámetros: ComPaSS permite que modelos más pequeños (codificadores como RoBERTa) compitan o superen a modelos generativos masivos (decodificadores de miles de millones de parámetros) en tareas de evaluación, ofreciendo una ruta más eficiente en términos de parámetros.

4. Resultados Experimentales

Los autores evaluaron ComPaSS en dos tipos de tareas de granularidad fina:

• Ranking de Valores de Atributos (CoDa, ViComTe): Clasificar colores, formas o materiales de objetos.
• Completado de Marcos de Sentido Común (CFC): Clasificar respuestas a preguntas abiertas.

Hallazgos Principales:

• Rendimiento Superior: ComPaSS superó consistentemente a todos los baselines, incluidos métodos basados en verosimilitud, verbalización y modelos especializados como VERA.
• VLMs vs. LMs: En tareas de atributos visuales, los modelos VLMs (EVA-CLIP) obtuvieron las puntuaciones más altas, superando incluso a LLMs de 7B parámetros. Esto confirma que la información visual es crucial para el sentido común sobre propiedades físicas.
• Impacto del Aprendizaje Contrastivo: Los modelos con preentrenamiento contrastivo (ej. Mistral con CL, Qwen2 con CL) mostraron mejoras significativas respecto a sus versiones base, validando la necesidad de representaciones semánticas afiladas.
• Comparación con SOTA: ComPaSS logró superar a modelos cerrados de vanguardia como GPT-4 en múltiples tareas de clasificación binaria y ranking, demostrando su eficacia en la distinción de matices.

5. Significancia e Impacto

• Evaluación de LMs: Proporciona una métrica robusta y cuantificable para evaluar la capacidad de los modelos de IA para razonar sobre el sentido común, más allá de la generación de texto.
• Mitigación de Sesgos: Al basarse en el desplazamiento semántico y no en la probabilidad de tokens, ComPaSS es menos susceptible a los sesgos de frecuencia lingüística (como el sesgo de reporte de "ovejas negras"), ofreciendo una evaluación más alineada con la realidad física y humana.
• Dirección Futura: El trabajo sugiere que el futuro de la evaluación de sentido común debe centrarse en enfoques discriminativos que aprovechen las representaciones semánticas profundas y la multimodalidad, en lugar de depender únicamente de la capacidad de generación de texto.

En resumen, ComPaSS establece un nuevo estándar para la evaluación de la plausibilidad del sentido común, demostrando que medir la "estabilidad semántica" ante la adición de información es una estrategia superior a la predicción probabilística tradicional.