Resumo Técnico: Além de 'Uma Língua, Um Alfabeto'

Definição do Problema

Os atuais Modelos de Linguagem-Visão (VLMs) operam sob um pressuposto falho conhecido como o paradigma "Uma Língua, Um Alfabeto" (OLOS - One Language, One Script). Este paradigma trata a ortografia como uma função determinística da língua, assumindo que uma única língua corresponde a um único sistema de escrita. Consequentemente, os benchmarks existentes (ex: XM3600, MaXM) negligenciam bilhões de usuários que navegam pelo mundo através de sistemas multi-alfabéticos, como o Punjabi (Gurmukhi, Shahmukhi, Romano), o Sérvio (Cirílico, Latino) e o Curdo (Árabe, Latino, Cirílico).

O artigo argumenta que esta lacuna de avaliação cria um "Abismo de Script-Realidade". Se a capacidade de raciocínio de um modelo flutua quando o mesmo conteúdo semântico é apresentado em diferentes alfabetos, sua "multilinguidade" pode depender mais do reconhecimento de padrões ortográficos do que de um verdadeiro aterramento semântico. Isso resulta em uma lacuna de equidade, onde modelos são considerados capazes em um alfabeto, mas não confiáveis em outro para a mesma base de usuários.

Metodologia: O Benchmark PuMVR

Para quantificar este viés, os autores introduzem o PuMVR (Punjabi Multimodal Visual Reasoning), o primeiro benchmark projetado para isolar o alfabeto como uma variável independente no raciocínio multimodal.

• Composição do Conjunto de Dados: O PuMVR consiste em 375 tarefas de raciocínio visual com imagens, curadas por especialistas e culturalmente fundamentadas. Cada tarefa existe em equivalência semântica perfeita através dos três alfabetos ativos do Punjabi:
  1. Gurmukhi (escrita índica, dominante no Punjab indiano).
  2. Shahmukhi (escrita persa-árabe, dominante no Punjab paquistanês).
  3. Romano (transliteração latina, usada pela diáspora e comunidades digitais).
• Categorias de Tarefas: As 375 instâncias estão distribuídas em seis categorias de raciocínio: Analogias Visuais, Reconhecimento de Objetos Culturais, Raciocínio de Festivais e Celebrações, Reconhecimento de Arquitetura e Marcos, Raciocínio de Texto-na-Imagem (OCR) e Raciocínio Visual-Linguístico Abstrato.
• Design Experimental: O estudo avalia 10 VLMs de última geração (incluindo modelos proprietários de fronteira como GPT-4o, Gemini 2.5 e Claude Sonnet 4, e modelos de pesos abertos como Qwen2-VL e Llama-3.2-Vision) através de cinco investigações complementares:
  1. Quantificação do Abismo de Script: Medição de deltas de precisão e Taxas de Consistência de Script (SCR) entre alfabetos.
  2. Ablação de Modalidade: Comparação de entradas Apenas-Texto vs. Multimodais para determinar se o aterramento visual compensa o viés de script.
  3. Transferência entre Scripts: Teste de eficiência de aprendizado few-shot quando exemplos e consultas utilizam alfabetos diferentes.
  4. Robustez de Descompasso de OCR: Medição de penalidades de desempenho quando o texto na imagem e os alfabetos da consulta estão desalinhados (Índice de Disparidade de Script).
  5. Divergência de Raciocínio: Análise de saídas de Cadeia de Pensamento (CoT) para verificar se a escolha do alfabeto altera os caminhos de raciocínio.

Principais Contribuições

1. O Benchmark PuMVR: Um framework de avaliação ortográfica controlada de três vias que vai além da amplitude linguística para a profundidade ortográfica.
2. Quantificação do Viés de Script: A introdução da Taxa de Consistência de Script (SCR) como uma métrica central para avaliação agnóstica de alfabeto. O estudo revela que os modelos atuais exibem lacunas substanciais de desempenho, com deltas de precisão atingindo até 16% e SCR tão baixas quanto 24,8% para alguns modelos.
3. Evidência de Divergência de Raciocínio: O artigo demonstra que a escolha do alfabeto funciona como um gatilho latente, fazendo com que os modelos adotem estratégos de raciocínio divergentes (ex: focando em diferentes características visuais) para pares de imagem-texto idênticos, dependendo apenas do alfabeto utilizado.

Principais Resultados

• Abismo Universal de Script: Todos os 10 modelos avaliados exibiram degradação de desempenho dependente do alfabeto. Mesmo modelos de fronteira como o GPT-4o mostraram lacunas significativas (ex: delta de 4,26% entre Gurmukhi e Shahmukhi).
• Fragmentação Ortográfica: Taxas de Consistência de Script altas foram raras. Por exemplo, enquanto o GPT-4o alcançou 90,93% de precisão em Gurmukhi, seu SCR foi de apenas 78,13%, indicando que 12,8% de seu conhecimento está bloqueado ortograficamente. Modelos de pesos abertos tiveram desempenho pior, com o Llama-3.2-11B-Vision apresentando um SCR de 27,47%.
• O Aterramento Visual é Aditivo, Não Compensatório: Embora a entrada visual tenha impulsionado o desempenho absoluto em todos os alfabetos (Ganho Visual variando de 7,5% a 36,1%), ela não fechou o abismo de script. O viés relativo persistiu, sugerindo que a fragmentação ortográfica subjacente é sistemática.
• Transferência entre Scripts Limitada: Os padrões de raciocínio mostraram baixa transferibilidade. Em configurações few-shot, alguns modelos sofreram quedas de desempenho catastróficas (ex: o Qwen2-VL-72B-Instruct caiu de 83,5% para 33,6% ao receber exemplos em Gurmukhi para um teste em Gurmukhi), e a Eficiência de Transferência (TE) variou significamente, indicando que o conhecimento é frequentemente específico de cada alfabeto, em vez de abstrato conceitualmente.
• OCR e Descompasso de Script: Penalidades de desempenho significativas (Índice de Disparidade de Script) foram observadas quando o texto da imagem e o alfabeto da consulta estavam desalinhados, particularmente para Shahmukhi e em modelos com capacidades de OCR mais fracas.
• Divergência de CoT: A análise de Cadeia de Pensamento (CoT) revelou que o uso de prompts estruturados pode desestabilizar caminhos específicos de cada alfabeto. Por exemplo, a precisão do GPT-4o em Shahmukhi caiu 20,4% sob CoT, enquanto seu desempenho em Gurmukhi permaneceu estável, sugerindo que o raciocínio em Shahmukhi depende de heurísticas implícitas que colapsam sob articulação explícita.

Significância e Alegações

O artigo afirma expor um ponto cego crítico na avaliação de VLMs multilíngues: a suposição de que a amplitude linguística equivale à capacidade multilingue. Ao demonstrar que modelos de última geração não são verdadeiramente multi-alfabéticos, os autores desafiam o paradigma OLOS.

A significância deste trabalho reside em:

• Reenquadramento da Avaliação: Propor a Taxa de Consistência de Script (SCR) como uma métrica essencial para passar de contagens de línguas para robustez ortográfica.
• Equidade na IA: Destacar que para usuários de múltiplos alfabetos (mais de um bilhão de pessoas globalmente), um modelo que tem sucesso em um alfabeto, mas falha em outro, não é "parcialmente capaz", mas sim "não confiável".
• Blueprint Metodológico: Fornecer um framework replicável para diagnosticar o viés de alfabeto em outros idiomas multi-alfabéticos (ex: Hindi-Urdu, Sérvio, Curdo) para alcançar a equidade ortográfica na IA global.

Os autores concluem que alcançar uma IA equitativa exige ir além da amplitude linguística em direção à profundidade ortográfica, garantindo que o aterramento visual e o raciocínio semântico não sejam fragmentados pela escolha do sistema de escrita.