Lexical Consensus: Grounded Word Learning and Shared Meaning in Artificial Agents

Resumen Técnico: Consenso Léxico

Planteamiento del Problema
La evaluación actual de la inteligencia artificial se organiza predominantemente en torno al rendimiento en tareas, la precisión en pruebas de referencia (benchmarks) y la imitación de comportamientos. Si bien esto es valioso, estas métricas no abordan una cuestión más profunda: si un agente artificial puede adquirir, estabilizar y utilizar nuevos significados léxicos derivados de la experiencia fundamentada (grounded experience). Específicamente, no está claro si los agentes pueden aprender nuevos mapeos palabra-concepto a partir de ejemplos visuales limitados, generalizar estos mapeos bidireccionalmente (imagen-a-etiqueta y etiqueta-a-imagen) y estabilizarlos entre agentes. Este artículo aborda la brecha entre la evaluación basada en la imitación y la evaluación basada en la adquisición, preguntándose si los agentes pueden adquirir vocabulario para su entorno sin depender únicamente de etiquetas precargadas o definiciones específicas de tareas.

Metodología
El artículo introduce el Consenso Léxico, un marco experimental reproducible diseñado para evaluar la adquisición léxica sobre un sustrato perceptual estructurado. El marco aísla la adquisición léxica del aprendizaje perceptual utilizando un codificador perceptual congelado (DINOv2-small) para generar incrustaciones (embeddings) visuales. El diseño experimental incluye los siguientes componentes:

• Léxico Artificial: El sistema utiliza palabras no de uso común (nonce words) al estilo de Carroll (por ejemplo, slithy, mimsy, vorpal) extraídas del vocabulario de Lewis Carroll. Estas etiquetas son fonotácticamente plausibles pero experimentalmente no fundamentadas, entrando al sistema como identificadores opacos para prevenir la filtración semántica.
• Evaluación de Tallado de Conceptos (Concept-Carving): Para probar si la adquisición es simplemente el reetiquetado de clústeres existentes o si depende de la coherencia perceptual, el marco define cuatro niveles de conceptos basados en la relación entre el concepto enseñado y la geometría perceptual congelada:
  1. Conceptos nativos: Una etiqueta corresponde a una categoría visual nativa.
  2. Conceptos casi disyuntivos: Las etiquetas agrupan categorías perceptualmente coherentes (sobreextensiones).
  3. Conceptos de disyunción media: Las etiquetas agrupan categorías con una distancia perceptual intermedia.
  4. Conceptos de disyunción lejana: Las etiquetas agrupan categorías perceptualmente distantes (uniones arbitrarias).
• Agentes Aprendices: El estudio emplea aprendices léxicos interpretables, incluyendo aprendices basados en centroides (redes prototípicas con codificadores congelados), aprendices de múltiples centroides, k-NN de ejemplares y líneas base lineales (regresión logística, SVM lineal).
• Fundamentación Bidireccional: La evaluación ocurre en dos direcciones:
  • Condición 1 (C1): Denominación de imagen-a-etiqueta (asignar la etiqueta correcta a una nueva imagen).
  • Condición 2 (C2): Recuperación de etiqueta-a-imagen (recuperar una instancia válida de un grupo de candidatos dada una etiqueta).
• Consenso Multi-Agente: Una población de agentes entrenados en conjuntos de semillas disjuntos interactúa para alcanzar un consenso en el uso de etiquetas, medido mediante umbrales de acuerdo y métricas de información teórica (entropía, información mutua).
• Controles de Falsificación: El marco incluye controles rigurosos como asignación de etiquetas aleatorias, incrustaciones aleatorias, permutación de los vínculos imagen-incrustación y pruebas de rechazo de vocabulario fuera de registro (out-of-vocabulary o OOV), así como evaluaciones de grupos de candidatos homogéneos para descartar explicaciones triviales.

Contribuciones Clave

1. Marco de Consenso Léxico: Una implementación empírica restringida de la primera prueba de adquisición del lenguaje propuesta por Vera et al. (2023), que proporciona un protocolo medible para evaluar cómo los agentes adquieren, recuperan y estabilizan mapeos similares al lenguaje.
2. Gradiente de Coherencia Perceptual: La demostración de que la adquisición léxica no es un aprendizaje de conjuntos arbitrarios, sino que sigue un gradiente monotónico gobernado por la coherencia perceptual.
3. Disociación de Percepción y Semántica: Un experimento pre-registrado sobre CIFAR-100 que confirma que la precisión de la adquisición es impulsada por la distancia perceptual en lugar de la relación semántica.
4. Distinción Bidireccional: La evidencia de que la denominación de imagen-a-etiqueta y la recuperación de etiqueta-a-imagen exponen capacidades distintas (compatibilidad de geometría-concepto vs. fidelidad de memoria).
5. Resultado Nulo en Reestructuración Representacional: Hallazgos que indican que, si bien los agentes pueden converger en un uso compartido de vocabulario, este consenso no reorganiza sustancialmente las representaciones perceptuales internas bajo la arquitectura actual.

Resultados

• Gradiente de Adquisición: La precisión de denominación (C1) sigue un gradiente de coherencia perceptual robusto y monotónico. Las categorías nativas se adquieren con una precisión casi perfecta. Las sobreextensiones coherentes siguen siendo altamente aprendibles. Los conceptos de disyunción media muestran una degradación parcial, y los conceptos de disyunción lejana se degradan a niveles cercanos al azar. Este patrón se mantiene a través de aprendices de centroide, de ejemplar y lineales.
• Impulsores Perceptuales vs. Semánticos: En el experimento de disociación, donde las distancias perceptual y semántica discrepaban, la precisión de la adquisición rastreó el predictor perceptual (parte $R^2 = 0.245, p < 10^{-7}$). El predictor semántico no añadió poder explicativo significativo (parte $R^2 = 0.002, p = 0.660$). Esto confirma que el gradiente es una propiedad de la geometría del sustrato perceptual, no un artefacto de la medición.
• Dinámicas de Recuperación: La recuperación de etiqueta-a-imagen (C2) revela una dimensión de fidelidad de memoria. Los mecanismos basados en ejemplares superan consistentemente a los prototipos de centroide comprimidos, particularmente para conceptos coherentes pero multimodales. Las líneas base discriminativas lineales recuperan estructura adicional bajo grupos de candidatos difíciles.
• Consenso y Alineación: Los experimentos multi-agente muestran que los agentes pueden converger en un vocabulario compartido, y que la retroalimentación mejora el acuerdo. Sin embargo, la línea base sin retroalimentación ya logra una alta precisión de consenso, lo que sugiere que la geometría perceptual compartida es la fuerza estabilizadora dominante. Crucialmente, la retroalimentación de consenso no reduce significativamente las distancias de los centroides entre agentes ni reforma las representaciones internas.
• Falsificación: El efecto de fundamentación colapsa cuando las incrustaciones son aleatorizadas o los vínculos imagen-incrustación son permutados, confirmando que la fundamentación correcta depende del sustrato perceptual y su vínculo con las etiquetas.

Significado y Reivindicaciones
El artículo posiciona el Consenso Léxico no como una solución para la adquisición completa del lenguaje artificial, sino como un andamio empírico restringido para estudiar los límites del aprendizaje léxico fundamentado.

La significancia principal es la demostración de que la adquisición léxica temprana está restringida por la coherencia perceptual. Los agentes aprenden etiquetas de manera más confiable cuando los conceptos enseñados corresponden a regiones coherentes del espacio perceptual. A medida que los conceptos enseñados atraviesan regiones distantes de ese espacio, el rendimiento decae. Esto redefine el papel del sustrato perceptual: su estructura no es meramente un factor de confusión que debe ocultarse, sino la condición bajo la cual la adquisición se vuelve medible.

Además, el artículo sostiene que el acuerdo léxico compartido no debe sobreinterpretarse como una transformación representacional. Aunque los agentes pueden coordinar decisiones sobre una geometría perceptual compartida, la arquitectura actual muestra que la retroalimentación léxica por sí sola no reorganiza las incrustaciones perceptuales subyacentes.

En última instancia, el trabajo argumenta por un cambio en la evaluación de la IA: de métricas de rendimiento estáticas hacia pruebas basadas en la adquisición que midan cómo los agentes adquieren, recuperan y estabilizan el significado bajo restricciones perceptuales. Establece que, si bien los agentes pueden adquirir y compartir mapeos léxicos sobre una percepción congelada, el alcance de lo que se puede aprender está estrictamente limitado por la alineación entre el concepto enseñado y la geometría perceptual disponible.