CodeNER: Code Prompting for Named Entity Recognition

1. El Problema

La Reconocimiento de Entidades Nombradas (NER) es una tarea fundamental en el Procesamiento del Lenguaje Natural (PLN) que implica detectar y clasificar entidades (como personas, ubicaciones, organizaciones) en un texto. Tradicionalmente, esto se ha abordado como un problema de etiquetado secuencial utilizando esquemas como BIO (Begin, Inside, Outside).

Sin embargo, con el advenimiento de los Grandes Modelos de Lenguaje (LLMs) y su capacidad de aprendizaje en contexto (in-context learning) en configuración zero-shot (sin entrenamiento previo), surgieron nuevos desafíos:

• Brecha de Esquema: Los LLMs suelen operar bajo un esquema de "entrada de texto -> salida de texto". En cambio, el NER requiere una salida de "entrada de texto -> salida de rangos/esquemas de tokens". Esta discrepancia dificulta que los LLMs entiendan la naturaleza secuencial y las fronteras de las entidades.
• Limitaciones del Prompting Basado en Texto: Los métodos anteriores que utilizan instrucciones puramente en lenguaje natural a menudo fallan en identificar correctamente los límites de las entidades, generan etiquetas duplicadas, o no logran procesar tokens individuales (como URLs o caracteres especiales) de manera coherente, ya que dependen únicamente del contexto de entrada sin una guía estructural explícita.

2. Metodología: CodeNER

Los autores proponen CodeNER, un método innovador que utiliza prompts basados en código (específicamente Python, aunque también se prueba C++) para instruir a los LLMs. En lugar de pedir al modelo que "extraiga entidades" en lenguaje natural, se le proporciona un fragmento de código estructurado que simula el proceso de NER.

Componentes Clave del Prompt de Código:

• Estructura de Código: Se define una función (ej. find_ner_tags) que contiene un bucle for. Este bucle obliga al modelo a procesar la entrada token por token, alineándose naturalmente con el esquema de etiquetado secuencial BIO.
• Esquema BIO Integrado: El código incluye instrucciones explícitas sobre cómo asignar las etiquetas B- (Begin), I- (Inside) y O (Outside), aprovechando la capacidad inherente de los LLMs para comprender la lógica y el alcance en lenguajes de programación.
• Diccionarios y Variables: Se utilizan variables como sentence (lista de tokens) y ner_tag_labels (diccionario de etiquetas) para proporcionar un contexto estructurado y un mapeo claro entre los tokens y sus etiquetas.
• Salida Estructurada: El código instruye al modelo a imprimir o devolver una lista de diccionarios con las entidades encontradas, forzando una salida que puede ser fácilmente convertida al formato estándar de evaluación.

Ventaja Técnica: Al embeber las instrucciones en código, CodeNER cierra la brecha entre la capacidad de razonamiento de los LLMs y la necesidad de un procesamiento secuencial estricto, algo que el lenguaje natural a menudo no logra comunicar con la misma precisión.

3. Contribuciones Clave

1. Nuevo Paradigma de Prompting: Introducen el uso de estructuras de código para guiar tareas de NER, demostrando que la sintaxis de programación puede servir como un mecanismo superior para definir esquemas de etiquetado secuencial en comparación con las instrucciones de texto.
2. Mejora en Escenarios Zero-Shot y Few-Shot: El método está diseñado específicamente para funcionar sin fine-tuning, aprovechando la capacidad de los LLMs para entender la lógica del código y aplicarla a nuevos datos.
3. Análisis Exhaustivo: Evalúan el método en 10 conjuntos de datos de referencia (benchmarks) que cubren cinco idiomas (Inglés, Árabe, Finlandés, Danés y Alemán) y diferentes tamaños de modelos (desde modelos de código abierto como Llama-3 y Phi-3 hasta modelos cerrados como GPT-4).
4. Combinación con Chain-of-Thought (CoT): Demuestran que combinar CodeNER con la técnica de "pensamiento paso a paso" (Let's think step by step) mejora aún más el rendimiento.

4. Resultados Experimentales

Los experimentos mostraron que CodeNER supera consistentemente a los métodos de prompting basado en texto (Vanilla) y a otros enfoques basados en código parcial (como GoLLIE y GNER).

• Rendimiento General: En los modelos GPT-4 y GPT-4 Turbo, CodeNER logró mejoras promedio de 2.41 y 3.07 puntos en la puntuación F1 macro, respectivamente, sobre los métodos basados en texto.
• Casos Específicos:
  • En el conjunto de datos FIN (Finlandés), hubo una mejora masiva de 18.3 puntos en F1 con GPT-4.
  • En modelos de código abierto como Phi-3 y Llama-3, CodeNER superó significativamente a los baselines, con mejoras promedio de hasta 19.54 puntos en algunos casos.
• Precisión en Límites de Entidades: El análisis de casos de estudio (Figura 3) reveló que CodeNER es superior en:
  • Identificar tokens largos y complejos (ej. URLs completas) como una sola entidad.
  • Evitar etiquetas duplicadas para la misma palabra.
  • Manejar tokens repetidos en el texto de manera correcta.
  • Identificar caracteres especiales y puntuación correctamente.
• Idiomas de Programación: Aunque se probaron Python y C++, los resultados fueron comparables, sugiriendo que la estructura lógica del código es más importante que el lenguaje específico, siempre que el modelo tenga conocimientos previos de ese lenguaje.

5. Significado y Limitaciones

Significado:
El trabajo demuestra que la estructura intrínseca de los lenguajes de programación es una herramienta poderosa para alinear las capacidades de razonamiento de los LLMs con tareas de PLN que requieren precisión secuencial. CodeNER ofrece una solución robusta para el NER en entornos de zero-shot, reduciendo la necesidad de grandes conjuntos de datos etiquetados o fine-tuning costoso.

Limitaciones:

• Dependencia del Modelo: El rendimiento depende de la capacidad del LLM para interpretar instrucciones de código. Modelos que no han sido entrenados adecuadamente en programación pueden requerir fine-tuning.
• Casos de Frases Largas: En conjuntos de datos donde las etiquetas abarcan oraciones completas o frases largas con muchas palabras funcionales (como en el dataset MIT-Movie para etiquetas de "Plot"), el método basado en texto (Vanilla) a veces supera a CodeNER. Esto se debe a que el enfoque token por token de CodeNER puede ser demasiado estricto para etiquetas que requieren una visión holística de la oración.
• Idiomas de Programación: El modelo debe tener conocimiento del lenguaje de programación utilizado en el prompt (ej. Java mostró un rendimiento casi nulo en los experimentos, indicando falta de conocimiento en el pre-entrenamiento del modelo).

En conclusión, CodeNER representa un avance significativo en la aplicación de LLMs para tareas estructuradas como el NER, demostrando que "pensar como un programador" (a través de prompts de código) puede ser más efectivo que "pensar como un hablante nativo" para ciertas tareas de extracción de información.