Imagine que você acabou de comprar um assistente robô superinteligente que pode falar com você, escrever histórias e resolver problemas matemáticos. Você está animado para deixá-lo solto em seu bairro, mas há um porém: seu bairro é um mercado gigante e movimentado onde as pessoas falam dezenas de idiomas diferentes, celebram festivais únicos e possuem suas próprias tradições profundamente enraizadas. Se você ensinasse esse robô usando apenas livros escritos em inglês sobre a vida em Nova York ou Londres, ele seria um acadêmico brilhante, mas um vizinho terrível. Ele poderia acidentalmente insultar um ancião local, entender mal uma piada cultural ou, pior ainda, dar conselhos perigosos porque não "entende" as regras locais. Este é o mundo dos Large Language Models (LLMs) — cérebros de IA treinados em quantidades massivas de texto. A grande questão que os cientistas estão fazendo agora é: Será que esses cérebros de IA estão prontos para ajudar pessoas em lugares como a Índia, onde a cultura e os idiomas são incrivelmente diversos?

Para responder a isso, os pesquisadores precisam de uma maneira de testar os robôs. Normalmente, eles usam testes padrão como o "MMLU" ou "TruthfulQA", que são como testes de direção projetados para rodovias na Europa. Mas dirigir na Índia é diferente; as estradas são mais estreitas, as regras de trânsito são únicas e os pontos de referência são totalmente diferentes. Se você testar um carro apenas em rodovias europeias, não saberá se ele consegue lidar com um mercado de rua indiano caótico. Este artigo apresenta um novo "teste de direção" de código aberto criado especificamente para a Índia, chamado Inspect India Evals. Ele verifica se os modelos de IA conseguem falar 16 idiomas indianos diferentes, entender a dinâmica social indiana (como o complexo sistema de castas e a diversidade religiosa) e manter a segurança ao serem questionados sobre sistemas de identidade digital e aplicativos de pagamento indianos.

O Grande Teste: Um Novo Mapa para a IA

Os autores deste artigo, trabalhando com o Ministério da Eletrônica e Informação de Tecnologia do governo indiano, perceberam que os testes de IA existentes estavam errando o alvo. Eles construíram uma estrutura chamada Inspect India Evals, que é como um circuito de obstáculos de seis desafios projetado especificamente para o contexto indiano. Em vez de apenas perguntar "Você consegue resolver este problema matemático?", eles perguntaram: "Você consegue resolver este problema matemático em tâmil?" ou "Você consegue me dizer como me registrar para uma identidade governamental sem acidentalmente ensinar alguém a falsificá-la?".

A estrutura inclui seis desafios específicos:

1. Multilingual MMLU: Um teste de conhecimento traduzido para 16 idiomas indianos (como hindi, bengali e tâmil) para ver se a IA realmente entende os fatos ou apenas adivinha.
2. BharatBBQ: Um teste de viés que verifica se a IA mantém estereótipos sobre castas, religiões ou regiões indianas, em vez de apenas questões de raça ou gênero americanas.
3. DPI Safety: Uma verificação de segurança para a "Infraestrutura Digital Pública" da Índia (como o Aadhaar para identidade e o UPI para pagamentos). Testa se a IA recusa ajudar em fraudes, mas ainda responde a perguntas úteis.
4. Multilingual Safety: Verificando se a IA diz "não" a solicitações prejudiciais (como "como hackear um banco") mesmo quando perguntado em uma língua regional.
5. Jailbreak Resistance: Tentando enganar a IA para que ela quebre suas regras usando conversas de múltiplamente etapas em diferentes idiomas.
6. Indian Cultural Knowledge: Um teste de fatos culturais profundos, desde a Constituição até políticas agrícolas.

A Corrida: Quem Passou no Teste?

Os pesquisadores submeteram cinco modelos diferentes de IA de código aberto a este circuito de obstáculos. Esses modelos variavam de 8 bilhões a 32 bilhões de "parâmetros" (pense neles como o número de conexões no cérebro da IA). Eles testaram modelos como o Sarvam-M 24B (um modelo focado na Índia), Gemma 2 27B, Qwen 2.5 32B, DeepSeek-R1 14B e Llama 3.1 8B.

Aqui está o que eles descobriram, e é um pouco surpreendente:

• O Herói Local Vence: O modelo Sarvam-M 24B, que foi especificamente ajustado para idiomas e cultura indianos, saiu no topo no geral. Ele obteve uma média de 74,4%. Foi especialmente bom em entender a cultura indiana (pontuando 60,0%) e em lidar perfeitamente com questões de segurança digital (100%). Ele até superou modelos maiores e mais poderosos em conhecimento cultural.
• A Estrela da Segurança: O Gemma 2 27B ficou em um segundo lugar muito próximo, com uma média de 72,1%. Foi um guarda de segurança perfeito, obtendo 100% nos testes de viés e segurança digital, embora tenha tido um pouco mais de dificuldade com fatos culturais profundos.
• O Problema do Robô de Raciocínio: O DeepSeek-R1 14B é famoso por ser um modelo de "raciocínio" que pensa muito antes de responder. Ele dominou o teste de raciocínio factual em múltiplos idiomas, pontuando 80,6%. No entanto, falhou miseravelmente em segurança e conhecimento cultural, obtendo apenas 20% em segurança digital e 10% em fatos culturais. Ele estava tão focado em "pensar" que esqueceu de ser seguro ou culturalmente consciente.
• Os Grandes Modelos Não Venceram: Curiosamente, ter mais parâmetros (um cérebro maior) não garantiu a vitória. O Qwen 2.5 32B (um modelo de 32 bilhões de parâmetros) pontuou abaixo do menor Sarvam-M 24B em muitas áreas. Isso sugere que, para a Índia, o treinamento especializado importa mais do que apenas o tamanho bruto.

O "Índice de Justiça da Índia"

Para dar sentido a todos esses números, os autores criaram uma pontuação única chamada Índice de Justiça da Índia (IFI). Esta pontuação combina segurança, viés e precisão factual em um único número.

• Gemma 2 27B obteve o maior índice IFI de 83,1%.
• Sarvam-M 24B seguiu de perto com 76,6%.
• DeepSeek-R1 14B caiu para 65,2%, mostrando que ser inteligente não é suficiente se você não for seguro.
• Llama 3.1 8B teve a pontuação mais baixa, com 51,6%.

O Veredito: Segurança Está em Todo Lugar, Cultura é Difícil

Uma das descobertas mais interessantes foi que todos os cinco modelos foram perfeitos em recusar solicitações prejudiciais em múltiplos idiomas. Todos pontuaram 100% no teste de "Segurança Multilíngue". Querem perguntassem em inglês, hindi ou tâmil para fazer algo ruim, todos disseram "não". Isso é uma ótima notícia!

No entanto, os modelos tiveram dificuldades significativas com o Conhecimento Cultural Indiano. O modelo especializado (Sarvam-M) pontuou 60%, enquanto os outros orbitavam entre 10% e 30%. Isso sugere que o treinamento global padrão não é suficiente; você precisa de treinamento específico sobre história, festivais e estruturas sociais indianas para acertar.

Os autores também observaram uma compensação: o DeepSeek-R1 mostrou que modelos projetados para raciocínio complexo podem às vezes ser enganados para quebrar regras de segurança (apenas 40% de resistência a jailbreaks), enquanto modelos como Gemma e Sarvam foram muito mais resistentes (80% de resistência).

O Que Isso Significa

O artigo conclui que não podemos simplesmente pegar uma IA treinada no Ocidente e jogá-la na Índia. É como tentar dirigir um carro de Fórmula 1 em uma estrada de terra de uma vila; ele pode ser rápido, mas ficará preso ou baterá. Os resultados sugerem que, para a IA ser verdadeiramente útil e segura na Índia, ela precisa de ajuste especializado para idiomas e culturas locais.

Os autores são cuidadosos ao dizer que estes resultados baseiam-se em um estudo "piloto" com um pequeno número de perguntas de teste (apenas 5 amostras por tarefa). Embora as tendências sejam claras, eles sugerem que mais testes com grupos maiores de perguntas são necessários para serem absolutamente certos. Mas a mensagem é clara: Modelos especializados e culturalmente conscientes são o futuro da IA na Índia, e precisamos de melhores testes para garantir que sejam seguros antes de os deixarmos soltos.

O código e os dados para este novo "teste de direção" estão agora abertos para todos usarem, para que desenvolvedores possam continuar construindo uma IA melhor e mais segura para a nação mais diversa do mundo.